〈一般研究課題〉 動作情報と生体信号情報を利用した日常生活行動時における人体内部器官の過渡応答解析
助 成 研 究 者

名古屋市立大学

梅谷智弘

動作情報と生体信号情報を利用した
日常生活行動時における人体内部器官の過渡応答解析
梅谷 智弘（名古屋市立大学）

Transient response analysis of human organ
using motion and bio-signal data in daily-life
Tomohiro Umetani(Nagoya City University)
Abstract
We propose a method for the transient response analysis of human organ using motion and biosignal data in daily-life. In this study, we focus on the estimation method of bio-signals based on humanmotion in daily life for an integrated visualization system. The recent advancement of computer andmeasurement technology has facilitated the integrated visualization of bio-signals and human motion
data. It is desirable to obtain a method to understand the activities of muscles based on human motion
data and evaluate the change in physiological parameters according to human motion for visualization
applications. We suppose that human motion is generated by the activities of muscles reflected to thebio-signals from the brain such as electromyograms. A method for the estimation of bio-signals basedon neural networks is introduced. This method can estimate the other physiological parameters basedon the same procedure. The experimental results show the feasibility of the proposed method.

1. はじめに
近年の計算機技術の発展により，アニメーションやゲーム制作の分野において，モーションキャプチャシステムなどを用いた，運動学を反映させたアニメーションコンテンツの制作が盛んに行われている．一方，人間工学の分野では，伝統的に，実験条件の変化では，生体信号と静的，あるいは動的な動作の計測は別々に行われてきた．しかし，その解析法は直観的でなく，統合した計測，解析，− 119 −

可視化手法をとおした，モーションキャプチャや生体信号計測システムの新たな分野の開拓が期待されている．
これまで，われわれは生体信号と人体の動作データの統合的な可視化の可能性を示してきた．これまで，表面筋電図およびモーションキャプチャデータを統合的に可視化するシステムを提案している[1][2]．このシステムはモーションデータと生体信号データを同期して取得する．複数の種類のデータの統合解析をとおして，統合可視化システムは，擬人化エージェントに計測結果や解析結果を動作とともに割り当てる．そして，システムはそれらを動作の統合可視化結果として提示する．
統合可視化システムの適用範囲は広がっており，たとえば，製品設計のデザイン支援や，運動の教示，医療応用などが考えられる．しかし，筋肉など人体内部器官の活動状態を理解するために，生体信号の特徴抽出および理解方法が必要となっている．
本論文では，人間の日常生活行動に対する人体内部器官の過渡応答解析およびその可視化を目的[3]として，人間の動作をもとに，生体信号を推定する手法を述べている ．本手法は過去の行動で習得されたモーションキャプチャデータと生体信号データを使用する．ここで，人間の動作は，表面筋電図のように生体信号に基づいた筋肉の活動により生成され，生理指標は人間の動作を反映して変化するという仮定のもとに，推定のモデルを構築する．筆者らは生体信号および生理指標の推定システムを人体の動作データをもとにニューラルネットワークシステムを使用して構築する．
これまで，モーションキャプチャデータを用いた人間の動力学モデルが提案されている．
Komura は，人間の動作アニメーションを製作するために，動作に生理学的指標を付加するために[4]モーションを動的，生理学的に構築する手法を提案している ．Hase は，歩行やボートを漕ぐ動作のような動作を解析するための三次元筋骨格モデルを提案している[7][8][9]．Nakamura らは，モーシ[5]ョンキャプチャデータを基にした体知覚の計算モデルを構築した ．加えて，ニューラルネットワ[6]ークを基にした腕の姿勢推定手法 が提案されている．
本論文では，人間の動作データのみで，生体信号を推定する手法に焦点を当てる．動作データと生体信号データとの単純な関係を持つモデルを構築するために，ニューラルネットワークモデルを使用する．本手法では，解の精密性は保証されないが，ニューラルネットワークの出力を利用することで，動作の識別の可能性を持っている．実験結果により，モーションキャプチャデータによる生体信号の推定の可能性，および，よく似た動作の識別，たとえば，自動車のコンソールパネルのプロトタイプの操作実験により本手法の可能性を示す．また，動作データのみから，人間の腕に発生するトルクを計算し，運動時における生体信号の推定精度の向上について検討する．

2. 人体動作と生理指標の統合可視化システム
本節では，光学式モーションキャプチャシステムと生体信号計測装置を用いた統合計測・統合可視化システムの構築手法について説明する．図 1 に，人間の動作と生体信号を同期して統合可視化するための手順を示す．最初に，人間の動作と生体信号をモーションキャプチャシステムと生体信号計測装置を同期して使用することで取得する．次に，動作データと生体信号を統合的に解析する．
そして，動作データと生体信号情報を擬人化エージェント（アバター）に割りつける．最終的に，人間の動作と生体信号の変化を統合して可視化できる．この統合可視化プロセスをとおして，提案システムでは，生体信号と動作との関係性を直観的に提示することができる．たとえば，起立時に− 120 −図 1 ：動作と生体信号の統合計測による，人間の動作と生体信号の変化の統合可視化手法おける生理学的パラメータの過渡的な変化を可視化することが考えられる．可視化結果をとおして，筋肉の力発生や動作の違いなどを理解することが容易になる．
統合可視化システムの応用範囲は広く，たとえば，製品デザイン支援，運動の教示，医療応用などが考えられる．しかし，被験者の体に電極を付着させるなど，生体信号を計測するための負荷が大きいため，継続的に生体信号を取得することが困難である．人間の動作に対応した人体の生体信号や生理指標などを推定する手法が望まれている．本研究では，生体信号や生理指標の過渡解析を目的とした，人間の動作に対応した筋電信号の推定について検討する．

3. 人間の動作を基にした生体信号の推定
本節では，モーションキャプチャデータを用いた人体の表面筋電図などの生体信号の推定手法について述べる．図 2 に，モーションキャプチャデータを用いて生体信号データや人体内部器官状態を推定する手順を示す．人間の動作は外部から計測できる生体信号や人体内部器官の状態変化に関連すし，また，その関連は，システムによりモデル化可能であると仮定している．推定システムの内部パラメータは，動作データ，生体信号データ，生理指標パラメータからなる教師用データによる学習により更新される．システムの学習ののち，動作データを計測し，学習した推定システムを用いて，人間の動作に対応する生体信号データ，生理指標パラメータを推定する．提案する推定システムの特徴を以下に示す．
●人間の動作をもとにした生理指標の変化の特徴を推定している．
●生理指標は，システムが動作データと生理指標パラメータ条件で学習したものであれば，学習後に任意に選択して推定することができる．
●人体の生理学的な状態変化と人間の動作との間で区別できる可能性がある．

図 2 ：モーションキャプチャデータを用いた生体信号，人体内部器官状態の推定手順− 121 −

ここで，モーションキャプチャデータを用いた推定実験をとおして，本提案手法の可能性を示す．
モーションデータおよび生体信号は，日常生活行動の例として，自動車の操作コンソールのパネル操作から取得されたものである．次節以降で，推定実験の手法及び結果を示す．

4. 動作データを用いた生体信号推定実験
本節では，自動車の運転席左側に据え付けられた自動車の操作パネルのボタン押し動作に応じた移動データを用いた表面筋電図の推定実験について述べる．実験条件として，動作データと表面筋電図の計測条件について述べ，ニューラルネットワークシステムにより推定するための階層型システムの構築条件をまとめる．教師データに対する生体信号の出力結果を説明し，そののち，異なる角度に取り付けられたパネルの操作に対する筋電信号の推定結果をもとに，提案手法の可能性を示す．
4.1 方法運転席左側に据え付けられた操作性評価のためのパネルの模型操作に対する動作データと表面筋電図を取得する．なお，被験者は健康な男性である．図 3 に自動車のパネル操作の評価の概略図を示す．また，図 4 に今回の実験で使用した光学式マーカおよび電極の配置図を示す．光学式
マーカは 33 個被験者の全身に取り付けた．また，表面筋電図用の電極を被験者の体に貼付した．
電極は，左三角筋，左腕橈骨筋の筋電図を計測するために貼付した．

図 3 ：実験風景の模式図．被験者にはマーカと筋電図計測のための電極が取り付けられている．
さまざまな高さ，角度のパネルを操作して，それに対する運動，生体信号を計測する.

図 4 ：電極とマーカの配置図− 122 −

入力データとして関節角度と人体の各部位の速さを用いる．関節角度は，図 1 に示すマーカの相対位置関係から得られる方向ベクトルの内積により求める．

ただし，pmrs ， pmls ， pmle ， pmlw ， pmlt ，は，それぞれ，右肩，左肩，左肘，左手首，左手親指のマーカの位置である．人体の各部位の速さに使用するマーカは，左肩，左肘，左手首，左手親指，左手小指であり，マーカの 1[sec]当たりのフレーム間距離を，各部位の速さとする．マーカの位置，筋電信号は 60[Hz]で PC に同期して入力する．モーションキャプチャ装置は EvaRT4．2 を使用して，計測を行い，マーカの位置と同期して，筋電信号を入力する．筋電信号は，NECMedical の MT11 を使用し，12bit の A/D コンバータで入力する．筋電信号は絶対値をとる．それぞれの入力データを移動平均により平滑化し，区間[0，1]に規格化する．
人間の動作と筋電信号の強さとの関係は，マーカの各部位および関節角を入力，筋電信号強度を出力とする階層ニューラルネットワークを構築し，新たな動作データに対して筋電信号を推定することで行う．入力層はマーカのフレーム間距離 5 次元，関節角 3 次元の計 8 次元，出力層は筋電信号強度の 2 次元となる．また，中間層の大きさは，実験的に 128 次元とする．また，ニューラルネットワークは，3 区間の過去の動作データを入力値に用いる[10]．学習用データの長さは43[sec]であり，それを 2.0× 10 回試行する．
動作データとして，低い位置で水平に設置されたコンソールパネルの操作について，複数回の同じ動作について，うち 1 回の人間の動作および筋電信号を教師データとし，他の回の動作データに対する筋電信号の推定を行う．また，比較として，学習したニューラルネットワークにより，同じ高さの取付け角度が 90[deg]のコンソールパネル操作時の動作に対する筋電信号の推定を行う．システムの学習結果として，教師データとシステムによる推定値の相互相関係数は，僧帽筋および左腕橈骨筋でそれぞれ，0.950と 0.952 となっている．このことから，教師データに対して，ほぼ正しく推定できていることが確認された．

4.2 結果と考察
教師データによる学習を行った推定システムを用いて，2 種類のパネル操作に対する動作データを用いて筋電信号を推定した．筋電信号の推定に用いた動作は全体で 28[s]であり，9[s]，19[s]から 3 秒間でパネル押し操作を行う．その他の時間帯は，ステアリングホイールに手を置いて休息状態としている．操作するパネルは，1 つは，水平に設置されており，システムの学習に用いた条件と同一である．もう一方の設定は，パネルは垂直に設置されている．

− 123 −

(a) 僧帽筋(b) 腕橈骨筋
図 5 ：推定結果（水平パネル操作）(a) 僧帽筋(b) 腕橈骨筋
図 6 ：推定結果（垂直パネル操作）

図 5，6 に，推定結果と計測結果との比較を示す．図の横軸は，時間[s]，縦軸は，正規化した表面筋電図である．図中の黒は推定結果，灰色は推定結果である．また，図中の背景が塗られている部分は，パネル操作を行っている時間帯である．右上の r は，推定結果と計測結果の相関係数を示している．
図より，コンソールパネルの操作時に筋電信号の出力が増大し，推定できる可能性を示している．一方，相互相関係数は，僧帽筋が 0.486，左腕橈骨筋が 0.269 と低くなっている．これは，操作していない安静時において，生体信号の推定が困難であり，また，筋電信号は振動数が高く振幅が大きいため，追従できていない（ピークがずれることで現れる）ことが考えられる．
比較対照として，取付け角度が異なるコンソールパネルの押しボタン操作に関する計測値と推定値の比較を図 6 に示す．相互相関係数は，僧帽筋と左腕橈骨筋とで，0.098 と 0.060 となった．
図より，動作に関する筋電信号の推定および識別の可能性を示している．
実験結果より，一部の筋肉では筋電信号の推定が行え，さらに動作の識別の可能性を示せた．
一方，推定信号の強度について精度は高いといえず，適切なパラメータ選定および，手法の検討を必要とする．また，本手法では，ネットワークの構造，および，学習回数について実験的に求めており，決定するための評価指標が必要である．

5. 人間の動作に伴う物理量を用いた推定の高精度化の検討
前節では，動作データを用いた生体信号推定を行い，実験により本手法の可能性を示した．ところで，人間の動作を計測すると，マーカによる位置情報だけでなく，人体の各関節に作用するトルクを計算することが可能となる．本節では，モーションデータに対して人体の関節トルクを計算し，− 124 −それを入力データに付与することで，推定の高精度化の検討を行う．物体を把持した腕の全体上下運動をとおして，本手法の可能性を示す．
5.1 方法
本手法は，生体信号や生体の状態値として，筋電信号や心電図，瞬時心拍数や血圧などの状態値を推定できる可能性を持つ．提案手法の可能性を示すため，起立位での左腕による錘の上下運動における動作に対する筋電信号との関係を示す．動作は連続して 9 回実施し，そのうちの 1 回を学習用，残りの試行を検証用とする．動作は 2[s]で腕を伸ばしたまま錘を水平まで上昇させ，2[s]でそのまま錘を鉛直下方に下ろす動作を繰り返す．被験者の身長は 165[cm]，体重は 60[kg]である．
マーカおよび筋電信号の計測部位を図 7 に示す．筋電信号は，三角筋(Deltoid Muscle)，上腕二頭筋(Biceps brachii)，上腕三頭筋(Triceps brachii)，総指伸筋(Extensor digitorum muscle)を計測した．筋の計測部位の決定は Zipp の方法[11]によった．筋電信号は計算機に入力後，整流の後，移動平均により平滑化する．

図 7 ：電極およびマーカの計測部位.

マーカおよび筋電信号は 200[Hz]で計算機に同期して入力する．筋電信号は NEC メディカル
MT11 により計測し，A/D 変換の後，モーションキャプチャシステム EvaRT4．7 に同期して入力する．それぞれの入力データをマーカは 7 点，筋電信号は 21 点（0.10[s]）の移動平均により平滑化する．それぞれのデータは，ニューラルネットワークの入力データ，出力データ（学習用および検証用）とするために，区間[0，1]に平滑化する．
ニューラルネットワークの入力データとして，左肩，左肘，左手首，左手親指，小指の速さ，左肩，左肘，左手首の関節の角速度，角加速度，トルクを用いる．左肩の角度は，サジタル面，ラテラル面の 2 自由度で表現する．各部位の速さは，マーカの 1[s]あたりのフレーム間距離とする．角速度は，各フレームで関節角度を求め，その差分をとることにより行う．また，角加速度についても同様に角速度から求める．トルクは，簡単のため，直列の剛体リンクモデルを仮定し，[12]角度，角加速度から，ニュートン・オイラー法による逆動力学計算 により計算する．リンクモ
デルとして，長さはマーカ間距離を利用し，リンク質量は，被験者の体重をもとに質量分布から[13]推測する ．リンクは細長く太さを 0 と仮定して計算する．また，手先に錘を持つため，手先にかかる力，モーメントは，錘による重力のみと設定した．

− 125 −

人間の動作と筋電信号の強さとの関係は，マーカの各部位および関節角を入力，筋電信号強度を出力とする階層ニューラルネットワークを構築し，新たな動作データに対して筋電信号を推定することで行う．入力層はマーカのフレーム間距離 5 次元，関節角度，角速度，角加速度，トルク，各 4 次元の計 21 次元，出力層は筋電信号強度の 4 次元となる．また，中間層の大きさは，実験的に 100 次元とする．また，ニューラルネットワークは，3 区間の過去の動作データを入力値4に用いる．学習用データの長さは 4[s]であり，それを 2.0 × 10 回試行する．比較対象として，これまで提案していた各部位の速さと関節角度（動きの観察のみからの推定）を入力データとする
階層ニューラルネットワーク[2][14]を構築する．中間層の数および学習用データ，学習回数は同一とする．システムの学習結果として，各筋における教師データとシステムによる推定値の相互相関係数を表 1 に示す．
表 1 ：教師データと推定値との相互相関係数

5.2 結果と考察
提案手法と従来手法での検証動作に対する筋電信号の推定値の相互相関係数を表 2 にまとめる．
また，提案手法による筋電信号の推定結果を図 8 に，従来手法による推定結果を図 9 に示す．図中の横軸は経過時間，縦軸は正規化した整流平滑化筋電信号電位(ARV)を示す．計測値を灰色，推定値を黒で示す．また，図中の r は，相互相関係数を示す．なお，図では推定動作の前半 3 回分に関する推定結果を示す．図より，提案手法では出力の変動に対して精度良く追従していることがわかる．表 2 より，総指伸筋に見られるように，従来の動作のみでの推定が困難であった前[14]腕の筋 についても，良く推定できていることがわかる．図の結果から，手先が環境中の構造物に触れない状況，すなわち，人間のモデルを開リンク構造で記述できるとき，力学パラメータを用いることで，精度よく推定できることが実験により確かめられた．
表 2 ：教師データと推定値との相互相関係数− 126 −

(a) 三角筋(b) 上腕二頭筋(c) 上腕三頭筋(d) 総指伸筋
図 8 ：筋電信号の推定結果（提案手法）(a) 三角筋(b) 上腕二頭筋(c) 上腕三頭筋(d) 総指伸筋
図 9 ：筋電信号の推定結果（従来手法）− 127 −

6. おわりに
本稿では人間の動作は生体信号と関連があり，両者の関係はあるシステムでモデル化されると仮定して，動作情報と生体信号情報を用いて，新たな動作情報に対する生体信号の推定を試みた．実験結果より，一部の筋肉では筋電信号の推定が行え，さらに動作の識別の可能性を示せた．一方，推定信号の強度について精度は高いといえず，適切なパラメータ選定および，手法の検討を必要とする．また，本手法では，ネットワークの構造，および，学習回数について実験的に求めており，決定するための評価指標が必要である．
また，人間の動作に伴う各種物理量を用いることで，筋電信号の推定において，精度良く推定できることを実験により示した．本手法ではリンクモデルを用いたが，より詳細なモデルを構築することで，人体内部モデルや人体から放出される電気信号の概況を用いて人体の動作を理解することが期待できる．
今後の課題として，他部位での運動計測への適用，人間の動特性を用いた関節負荷の計測，生体信号や人体の内部状態の推定，および，動作情報と生理指標を利用した人体内部状態があげられる．
また，学習システムについても，ネットワークの構造決定，学習回数の決定法について議論することが望まれている．

参考文献
[1]

T. Matsukawa and K. Yokoyama: "Visualization of Bio-Signal Synchronized by Human Motion,"
ACM SIGGRAPH Conference Conference Research Poster, 2006.

[2]

T. Matsukawa, T. Umetani and K. Yokoyama: "Development of Health Monitoring System Basedon Three-Dimensional Imaging Bio-Signals and Motion Data," in Proceedings of 29th Annual
International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC '07),
Lyon, France, August 23 - 26, pp. 1523 - 1527, 2007.

[3]

T. Umetani, T. Matsukawa and K. Yokoyama: "Estimation of Bio-Signal Based on Human Motion
for Integrated Visualization of Daily-Life," in Proceedings of 29th Annual International Conferenceof the IEEE Engineering in Medicine and Biology Society (EMBC '07), Lyon, France, August 23 26, pp. 3261 - 3265, 2007.

[4]

T. Komura and Y. Shinagawa: "Attaching Physiological Effects to Motion-Captured Data," inProceedings of Graphic Interface 2001 pp. 27 - 36, 2001.

[5]

Y. Nakamura, K. Yamane, Y. Fujita and I. Suzuki: "Somatosensory Computation for ManMachine Interface From Motion Capture Data and Musculoskeletal Human Model," IEEETransactions on Robotics Vol. 21, No. 1, pp. 58 - 66, 2005.

[6]

Y. Koike and M. Kawato: "Estimation of Arm Posture in 3D-Space from Surface EMG Signals
Using a Neural Network Model," IEICE Transactions on Information and Systems Vol. E-77D,
No. 4, pp. 368 - 375, 1994.

[7]

K. Hase and N. Yamazaki: "Development of Three-Dimensional Whole-Body Musculo Skeletal
Model for Various Model Analysis," JSME International Journal Series C Vol. 40, No. 1, pp. 25 32, 1997.

− 128 −

[8]K. Hase and T. Yokoi: "Computer Simulation Study of Human Locomotion with a ThreeDimensional Entire-Body Neuro-Muculo-Skeletal Model (IV. Simulation of Running Motion andIts Transition Process)," JSME International Journal Series C Vol. 45, No. 4, pp. 1065 - 1072,2002.

[9]K. Hase, M. Kaya, N. Yamazaki, B. J. Andrews, A. B. Zavatsky and S. E. Halliday, "Biomecanicsof Rowing (I. A Model Analysis of Musculo-Skeletal Loads in Rowing for Fitness)," JSMEInternational Journal Series C Vol. 45, No. 4, pp. 1073 - 1081, 2002.

[10] A. Waibel, T. Hanazawa, G. Hinton, K. Shikano and K. J. Lang: "Phoneme Recognition Using
Time-Delay Neural Networks," IEEE Transactions on Acoustic Speech and Signal Processing
Vol. ASSP - 37, pp. 328 - 329, 1989.
[11] P. Zipp: "Recommendations for the Standardization of lead positions in surface
electromyography," Euro J Appl Physol Vol. 50, pp. 41 - 54, 1982.
[12] 広瀬茂男，ロボット工学―機械システムのベクトル解析―，裳華房，1986.
[13] 阿江通良，湯海鵬，横井孝志：

日本人アスリートの身体部分慣性特性の推定 ，バイオメカ

ニズム，No. 11，pp. 23 - 33，1992.
[14] 梅谷智弘，松河剛司，横山清子：

動作情報を用いた生活行動時における生体信号の推定 ，

日本人間工学会第 48回講演集，190 - 191，2007.

− 129 −