立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (A) ]製品とのインタラクションを予測する自律的身体動作生成の神経数理モデル
A neural network model for generation of humanlike arm movements in human- product interaction
2191003

研究代表者

東京大学大学院
生物科学専攻理学系研究科

教 授

荻原

直道

ネルギ関数を減少させるように自律的に振る舞[研 究 の 目 的]う性質を持つ。本研究ではこの巡回型神経回路
自動車のステアリングやインパネデザインなに着目して，神経系モデルを構築し，ヒト上肢ど操作系配置の人間工学的評価は，基本的には3 次元筋骨格モデルに 3 次元空間内でのリーチ製品のモックアップを作成して実空間内で被験ング動作を行わせ，人間工学的に製品とのイン者に操作系とインタラクションさせ，官能検査

タラクションの力学的負担を評価する方法を開や筋電図や関節角度変化などの動作計測に基づ発することを目的とした。ヒト神経系の運動生いて行われる。しかし，モックアップ製作にか成原理に基づいて，自律的に動作する 3 次元神

かる時間とコストは膨大であり，また官能検査

経筋骨格モデルが実現すれば，デジタルマネキは被験者の主観に左右されるため，評価は大きンの自律的動作生成による製品の人間工学的設くばらついてしまうことが多い。このため，ヒ計など様々な応用が期待できる。

ト の 筋 骨 格 構 造 を 計 算 機 内 に モ デ ル 化 し，[研究の内容，成果]

CAD 情報から仮想空間内に構成される製品モデルとのインタラクションをシミュレートし，製品の操作性や使いやすさや力学的負担を事前

上肢 3 次元筋骨格モデルの構築に評価し，設計を支援しようとする試み，すな

本研究では，図 1 のように上肢筋骨格系をわちデジタルヒューマン技術に関する研究が数

体 幹 節 (body)，上 腕 節 (humerus)，尺 骨 節多く行われている。しかし，ヒトの筋骨格モデ(ulna)，橈 骨 節 (radius)，手 部 節 (hand) のルを仮想空間内で自律的に動作させ，製品モデルとインタラクションさせることは一般に困難であり，現在のところ，幾何学的拘束条件に基づいて最適化問題を解く，もしくはモーションキャプチャで計測した運動を与える，等の方法でヒトとモデルの相互作用を実現するしかなかった。
そこで本研究では，最適化計算を伴う軌道計画なしに身体動作生成を可能とする巡回型神経回路モデルを提案することを試みた。巡回型神経回路モデルは，再帰的結合によって，あるエ― 1 ―図1

上肢筋骨格モデル

立石科学技術振興財団助成研究成果集(第29号) 2020

5 節直鎖剛体リンクとしてモデル化した。体幹づいて，目的とする運動を達成するための関節節と上腕節の間の関節を肩関節 (shoulder)，トルク N を推定するものとした。

上腕節と尺骨節の間の関節を肘関節 (elbow)，推定される各関節トルクは，各筋の筋張力に尺骨節と橈骨節の間の関節を前腕関節 (radio-よって生成される。しかし，関節自由度に対しulnarjoint)，橈骨節と手部節の間の関節を手首て筋がより大きな自由度をもつため各筋が発揮

関節 (wrist) とした。体幹節は空間に固定さすべき筋張力は一意に定めることができない。

れているものとし，肩関節の位置を原点とした。 そのため，関節トルクと筋張力に基づく 2 つめ各節の慣性パラメータは，生体のそれと一致すのポテンシャル関数を定義し，それを減少させるように定めた。

るように神経系が逐次各筋における筋刺激を推

筋系には計 32 の筋を考慮し，解剖学データ定する神経回路網 (RNN1) を構築した。

を参考に起始点から停止点までをむすぶ線分と本研究で構築した神経回路網は，図 2 に示すしてモデル化した。各筋の筋張力は神経系からように，2 層の巡回型神経回路として表される。

伝達される運動指令 (0〜1 の間の連続値) に視覚によって現在の手先位置と目標位置の差を比例して生成されるものとした。

認識し，この運動方向の情報に基づいて神経系がポテンシャルを減少させるように自律的に振舞うことで目標関節角度，およびそれを実現す神経回路モデルの構築
本研究では，神経系内にポテンシャル関数をる関節トルクを推定し，筋刺激を発生させる。

定義することで，手先が目標位置に到達する運そして上肢筋骨格系が神経系からの指令を受け動指令を逐次自律的に生成する，巡回型神経回て筋張力を発揮させ，運動を生成する。一方，路モデルを構築した (図 2)。まず，手先を目

その運動の結果は固有感覚や視覚によって神経標位置へ移動させるためには，各関節が収束す系にフィードバックされる。このように神経系る目標関節角度を推定する必要がある。しかし，と筋骨格系が相互に作用することによって，本目標位置における関節角度は，空間の自由度にモデルでは神経筋骨格系全体で目標位置を平衡

対し関節がより多くの自由度を持つため一意に点とするアトラクタを形成し，ポテンシャル分定めることができない。そこで本研究では，目布の山を滑り降りるごとく運動軌道の計画なし

標位置と手先移動量に基づくポテンシャルを神に目標点への到達運動を実時間で生成すること経系内に定義し，それが減少するように神経系が可能となっている。

が目標関節角度を逐次自律的に更新することで，シミュレーションモデルの構築には，動力学

目標手先位置における関節角度を推定可能な神計 算 を 行 う 物 理 演 算 エ ン ジ ン ODE (Open

経回路網 (RNN1) を構築した。そして，逐次Dynamics Engine) を 使 用 し た。時 間 刻 み は更新される目標関節角度と目標関節角速度に基0.0001 s，終了時間を 2.0 s に設定し，与えられた初期姿勢から目標点へ向かう動作の生成を試みた。
動作生成の強化学習
本モデルにより，適切なリーチング動作を生成するためには，計 42 個の神経回路モデル内のパラメータの値を適切に定める必要がある。
ヒトは，腕を動かして操作系に手を触れる際に，

図2

神経回路モデル

その方法を一挙一動教えてもらうわけではなく，― 2 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

環境との相互作用の中から自然と学習する。そ節トルクの時間微分) の二乗和の足し合わせにこで本研究では，教師信号となる目標運動パより表現した。ヒトの上肢運動は，手先の到達ターン (操作系に手を触れる時の腕の姿勢，お点における誤差分散，および関節トルク変化をよび初期状態からそこに至る腕全体の軌道) は最小化するように決定されていると考えられて与えられずに，行動の結果の善し悪しの評価値いる。本研究で用いる報酬関数はこれらを反映のみが与えられるだけで，その評価を最大化すしたものである。

る 行 動 を 学 習 す る 枠 組 み で あ る，強 化 学 習(reinforcement learning) によって神経系パラ上肢動作計測メータの学習を行った。ヒトを含む哺乳類の脳

本提案の神経回路モデルにより生成される上の神経回路において，強化学習が実際に行われ肢運動の評価のために，本研究では，右利きのていること示唆する実験結果も得られており，健常成人男性 3 名に対して，上肢到達運動の計ヒトの運動学習を説明する有力な枠組みである。

測を行った。開始の合図で開始点から目標点へ

強化学習では，試行錯誤的に様々な行動を試と腕を伸ばしてもらい，手先が目標点に到達しして，とった行動の価値を評価し，より良い報て静止した後，1〜2 秒ほど待ってから終了の酬が得られる行動を学習する。本研究では，強合図を出した。これを 1 試行とし，6 方向の運化学習の枠組みの一つである，Actor-Clitic 法

動に対して 5 回計測を行った。被験者の体幹おによって神経パラメータの学習を試みた (図よび右上肢に計 13 個のマーカを取り付けてリ3)。Actor-Clitic 法では，パラメータを決定すアルタイム光学式モーションキャプチャシステ

る Actor と，Actor が選択したパラメータを評

ム MAC3D System (Motion Analysis Corpora-

価する Clitic が独立に存在し，Clitic からの学

tion, USA) を用いてサンプリング周波数 120

習信号は，Actor と Clitic の両方の学習に影響Hz で計測した。モーションキャプチャカメラする。具体的には，Actor に与えられている確で計測された 3 次元位置座標はカットオフ周波率分布に従い行動 (パラメータ) を選択し，ラ数 10 Hz のローパスフィルターにより平滑化

ンダムに与える初期姿勢から同じくランダムにを行った。またリーチング開始点は，手先速度与える目標到達位置へのリーチング動作を生成が 0.02 m/s を超えたところとした。

し，報酬を計算する。そして，報酬関数によって行動の評価を行い，得られた報酬から学習信動作生成結果

号 で あ る TD 誤 差 を 計 算 し，そ れ に 応 じ て

図 4 に，上肢動作の強化学習に伴う運動変化

Clitic の評価関数と Actor の確率分布を更新すを示す。左に手先軌跡，右に手先速度を示し，る。本研究では，報酬関数を，目標手先位置と学習に伴う運動変化を上から下に示している。

生成された運動の終端における手先位置の誤差，また実計測データを薄青色で示し，赤色で示すおよび終端に至るまでの関節トルク変化率 (関シミュレーション結果と比較した。動作学習の初期段階においては，手先は目標位置に到達せず，また手先軌跡，速度とも実計測結果と類似していないが，強化学習により，実計測のそれとほぼ一致した上肢動作が獲得できていることがわかる。
図 5 に，生成された上肢リーチング動作と，実計測データとの比較を示す。ここでは生成さ

図3

運動学習の流れれた動作を 0.1 s 毎に描き，関節角度の比較を― 3 ―立石科学技術振興財団

図4

助成研究成果集(第29号) 2020

上肢運動の学習過程示している。これより生成された上肢動作は，手先軌道は直線的だがゆるやかにカーブした軌跡となり，また手先速度はベルカーブ状になるなど，実計測のそれとほぼ一致した傾向を示していることがわかる。また関節角度変化も実計測データとほぼ一致した。先行研究より，ヒトがリーチング動作を行う際，手先軌道は直線的だがゆるやかに円弧状に曲がった軌跡を示し，

図5

生成された上肢リーチング動作と，シミュレーショ
ン (赤) と実計測データ (薄青) の関節角度の比較

手先速度はベルカーブ状となることが示されて上肢筋骨格モデルに適用し，ヒトの実運動に近いる。提案した神経回路モデルにより，こうしい動作を生成することができることを示した。

たヒトの手先軌跡の特徴を再現できていること

こうした神経回路モデルを用いて，3 次元筋骨がわかる。また，目的とする運動を実現するた格モデルを自律的に動作させることが可能となめに必要な各筋の筋活動 (筋張力) も，不自然れば，仮想空間内での製品や環境の人間工学的に拮抗することなく，滑らかな波形として生成評価を行うことが可能となる。

できている。このように運動中の筋力が推定で今後は，自動車のステアリング操作系配置のきれば，その運動を実現する際のエネルギ消費，人間工学的評価に本手法を適用していきたいとつまり身体負担を定量化することも可能である。

考えている。具体的には筋のなす力学的仕事か
ら，生理的負担を推定し，設計パラメータの変更がどのようにユーザーの負担に影響するかを[今後の研究の方向，課題]

定量的に評価することで，モデルの工学的応用
本研究では，巡回型神経回路モデルを 3 次元可能性を示していく予定である。

― 4 ―