䣔䣕䣌䢴䢲䢲䢻䣃䣅䢴䣍䢳䢯䢲䢸

筋骨格システムにおける繰返し学習を用いた筋内力の獲得と動的手先粘性楕円体による評価○田原健二（九州大, 理研） 木野仁（福岡工大）

Acquisition of Adequate Internal Forces for a Musculo-Skeletal Systemusing an Iterative Learning and Its Evaluation by a Dynamic Damping Ellipsoid*Kenji TAHARA (Kyushu Univ./RIKEN), Hitoshi KINO (Fukuoka Inst. Tech.)
Abstract—This paper proposes an iterative learning control scheme for a musculo-skeletal arm to acquire
an adequate internal force which is raised by redundant muscles during movement, and evaluate it througha dynamic damping ellipsoid. In our previous works, we have presented that a human-like smooth reaching
movement using a musculo-skeletal redundant arm model can be achieved by introducing a nonlinear muscle
model and “Virtual spring-damper hypothesis”. However, the internal force has been determined heuristicallyso far. In this paper, an iterative learning control method is employed for acquirement of an adequate internal
force according to a given task. In addition, a dynamic damping ellipsoid to evaluate the relation between a
damping force and a trajectory of the arm is introduced. Some numerical simulations are demonstrated toevaluate our proposed strategy.
Key Words: Dynamic damping ellipsoid, Musculo-skeletal system, Internal force, Iterative learning control

1.

はじめに人間の身体構造は，関節冗長性と筋冗長性を有していることが知られている [1]．我々はこれら冗長性を巧みに用いて様々な運動を実現しており，これらの数理的理解はロボットでの器用で滑らかな運動の実現にとって有用である．しかし，これら 2 つの冗長性は，ある運動に対して関節角度や筋力を一意に決定することができないという不良設定問題を引き起こす．
筆者らはこれまで，非線形な特性を有する筋モデルを用いた筋骨格冗長アームによるリーチング運動に注目し，筋内力によって関節粘性が変化し，結果として手先軌道を変化させることが可能となることを示してきた [2]．また，その筋内力の決定指針として，動的手先粘性楕円体を提案してきたが [3]，具体的な筋内力の設定値については言及していなかった．
本論文では，目標軌道が実現されているときの筋内力の獲得を目的として，まず，非線形な筋モデルの存在下でも繰返し学習により目標とする運動が獲得できることを示す．その後，学習によって獲得された手先軌道における筋内力を，動的手先粘性楕円体によって評価する．これにより，理想軌道を実現したときの筋内力を獲得することができ，また，その他の目標軌道において筋内力を決定する一つの指標となり得る．本
提案手法の有用性について，数値シミュレーション結果を通して議論する．

2.

2 関節 6 筋肉アームモデル

本研究で用いる筋骨格アームモデルを Fig.1 に示す．
本論文では，特に筋内力の獲得方法に注目するために，用いるアームモデルは筋冗長性のみ有しており，関節冗長性についてはあえて持たせていない．駆動源としての筋肉は，4 つの単関節筋と 2 つの二関節筋で構成されている．また，全システムは水平 2 次元平面内とし，重力は考慮しない．

➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛(x,y)
a3
l3 aq252

Yb3l5a1a51

a4b4b1l1a62
l4b2l2
q1 a2a61l6X

Fig.1 Model of the 2-joints 6-muscles arm

2⋅1 筋空間と関節空間の運動学
筋長と関節角度の関係は，以下の様に表すことができる．
𝒍 = 𝑮𝑙 (𝒒) ∈ ℝ6(1)

ここで 𝒍 ∈ ℝ6 は筋肉長を表すベクトルであり，𝒒 ∈ ℝ2は関節角ベクトルを表す．式 (1) を時間微分すると，以下の式を得る．

𝒍˙ = 𝑾 T 𝒒˙ ∈ ℝ6(2)

ここで 𝑾 T ∈ ℝ6×2 は，筋収縮速度 𝒍˙ の関節角速度 𝒒˙に関するヤコビ行列を表す．式 (2) より，仮想仕事の原䣔䣕䣌䢴䢲䢲䢻䣃䣅䢴䣍䢳䢯䢲䢸理を用いて関節トルクと筋力の関係式は以下の様に求まる．

𝝉 = 𝑾 𝒇 𝑚 ∈ ℝ2(3)ここで 𝝉 ∈ ℝ2 は関節トルクベクトル，𝒇 𝑚 ∈ ℝ6 は筋力ベクトルを表す．式 (3) の逆関係について，関節トルクに寄与する筋力と内力とに直交分解すると以下の様に表される．
()
𝒇 𝑚 = 𝑾 + 𝝉 + 𝑰 6 − 𝑾 + 𝑾 𝒌𝒆
(4)

()−1

ここで，𝑾 + = 𝑾 T 𝑾 𝑾 Tは 𝑾 の疑似逆行列()+であり， 𝑰 6 − 𝑾 𝑾 𝒌𝒆 は零空間を表している．また，𝒌𝒆 ∈ ℝ6 は任意のベクトルであり，筋内力の大きさを表している．

2⋅2 筋モデル
本研究で用いる筋肉のモデルを以下に示す．
()
˙ =𝑝 𝛼𝑓𝑚 (¯𝛼, 𝑙)¯−𝛼¯ 𝑐𝑙˙⎡
0.9𝑙0
𝑝 = 0.9𝑙>0{ 0 +∣𝑙∣˙⎢
0.25⎢˙⎣ 𝑐=0.9𝑙0 > 0 if 𝑙 ≥ 02.25> 0 if 𝑙˙ < 0(5)

0.9𝑙0

ここで 𝛼
¯ は筋への制御入力である．式 (5) は，Hill のモデルを規範として Mashima ら [4] によって実験的にパラメータ同定されたモデルである．筋肉が全部で 6つあるため，式 (5) を行列で表現すると，以下の様になる．

¯ − 𝑷 𝑨𝑪 𝒍˙
𝒇𝑚 = 𝑷 𝜶⎡
𝒇 𝑚 = (𝑓𝑚1 , 𝑓𝑚2 , ⋅ ⋅ ⋅ , 𝑓𝑚6 ) ∈ ℝ6⎢
¯ = (¯𝛼1 , 𝛼¯2, ⋅ ⋅ ⋅ , 𝛼¯ 6 ) ∈ ℝ6
⎢ 𝜶⎢⎢ 𝑷 = diag(𝑝1 , 𝑝2 , ⋅ ⋅ ⋅ , 𝑝6 ) ∈ ℝ6×6⎢⎢
𝛼1 , 𝛼¯2, ⋅ ⋅ ⋅ , 𝛼¯ 6 ) ∈ ℝ6×6
⎣ 𝑨 = diag(¯𝑪 = diag(𝑐1 , 𝑐2 , ⋅ ⋅ ⋅ , 𝑐6 ) ∈ ℝ6×6(6)繰返し学習制御

本研究では，筋長レベルにおける繰返し学習制御を導入する [5]．𝑖 回目の試行における筋への入力ベクト¯ を以下の様に設定する．
ル𝜶¯ 𝑖 = −𝑲 𝑝 Δ𝒍𝑖 − 𝑲 𝑣 Δ𝒍˙ 𝑖 + 𝒗 𝑖𝜶(7)ここで Δ𝒍𝑖 = 𝒍𝑖 − 𝒍𝑑 ，Δ𝒍˙ 𝑖 = 𝒍˙ 𝑖 − 𝒍˙ 𝑑 であり，𝑖 回目の試行における目標筋長および筋収縮速度との誤差ベクトルを表す．また，𝑲 𝑝 ，𝑲 𝑣 はそれぞれのフィードバックゲインを表す正定対角行列である．𝒗 𝑖 は 𝑖 回目の試行におけるフィードフォワード項を表しており，以下の学習則に従って更新される．

[𝒗0 = 0)((8)
𝒗 𝑖 = 𝒗 𝑖−1 − ΦΔ𝒍𝑖−1 + ΨΔ𝒍˙ 𝑖−1 if 𝑖 > 1➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛2𝒒 = 𝑮−1𝑥 (𝒙) ∈ ℝ(9)と表すことができる．また，これらの微分は，

𝒒˙ = 𝑱 −1 𝒙˙ ∈ ℝ2(10)となるため，式 (9)，(10) を式 (1)，(2) に代入して Δ𝒍，Δ𝒍˙ を求めると，[Δ𝒍𝑖 = 𝑮𝑙 (Δ𝒒) = 𝑮𝑙 (𝑮−1𝑥 (Δ𝒙))
(11)
TT −1
˙
Δ𝒍 = 𝑾 Δ𝒒˙ = 𝑾 𝑱 Δ𝒙˙となる．ここで Δ𝒙 ∈ ℝ2 ，Δ𝒙˙ ∈ ℝ2 はそれぞれ手先空間における目標軌道との誤差ベクトルである．

3⋅1 目標軌道
本研究では，目標とする軌道は予め存在すると仮定する．そこで，人間のリーチング運動を表す最適軌道の一つとして，Flash & Hogan [6] によって提案されている手先躍度（jerk) 最小規範を導入する．以下に示す
躍度の 2 乗の運動時間積分を評価関数として，その最小化を行う．
∫ 𝑇
...
𝐶=
∥ 𝑥 (𝑡)∥2 d𝑡(12)0式 (12) より，目標手先リーチング運動を初期位置 𝒙0から目標位置 𝒙𝑓 までを結んだ直線とすると，( )𝑡(13)𝒙𝑑 = 𝒙0 + (𝒙𝑓 − 𝒙0 ) 𝜔𝑇( )( )5( )4( )3𝑡𝑡𝑡𝑡
𝜔=6− 15+ 10𝑇𝑇𝑇𝑇と表される．

ここで式 (6) 右辺に含まれる行列 𝑨 は，筋への入力 𝛼¯𝑖を対角に並べた行列であり，筋の非線形特性によって生成される行列である．

3.

目標とする軌道は手先空間で設計し，逆運動学を用いて筋長および筋収縮速度まで変換する．手先空間と関節空間の運動学が 𝒙 = 𝑮𝑥 (𝒒) ∈ ℝ2 と表せるとすると，関節冗長性は有していないため，逆運動学は

3⋅2 閉ループダイナミクス
式 (3)，(6)，(7) より，𝑖 回目の試行におけるシステム全体の閉ループダイナミクスは，以下の様に表される．
{}
1 ˙𝑯 𝑖 (𝒒 𝑖 )¨
𝒒𝑖 +𝑯 𝑖 (𝒒 𝑖 ) + 𝑺 𝑖 (𝒒 𝑖 , 𝒒˙ 𝑖 ) 𝒒˙ 𝑖
2+ 𝑾 𝑖 𝑷 𝑖 𝑲 𝑝 Δ𝒍𝑖 + 𝑾 𝑖 𝑷 𝑖 𝑲 𝑣 Δ𝒍˙ 𝑖
˙𝑖 = 0+ 𝑾 𝑖 𝑷 𝑖 𝒗 𝑖 + 𝑾 𝑖 𝑷 𝑖 𝑨𝑖 𝑪𝑾 T𝑖 𝒒(14)ここで式 (14) 左辺第 6 項に含まれる行列 𝑨𝑖 は，式 (7)で表された繰返し学習制御による入力を対角に並べた行列であり，フィードバックとフィードフォワードの両方の制御入力を含んだ行列となっている．制御入力が変化することで，行列 𝑨𝑖 も変化し，結果として関節粘性が変化することがわかる．

4.

動的手先粘性楕円体

前節で導入した繰返し学習制御により，手先の理想軌道が獲得されたと仮定する．その時，筋内力によって生成される関節粘性はどのようになっているのであろうか？この筋内力によって生成される粘性が，手先軌道に与える影響を評価するために，Fig.2 に示す様な䣔䣕䣌䢴䢲䢲䢻䣃䣅䢴䣍䢳䢯䢲䢸
Table 2 Insertions of the muscles

Musclex <=1T-1 T-1F (D ) D F <=1DValue [m]𝑙1𝑎1 = 0.055

𝑏1 = 0.080

𝑙2

𝑎2 = 0.055

𝑏2 = 0.080

𝑙3

𝑎3 = 0.030

𝑏3 = 0.120𝑙4

𝑎4 = 0.030

𝑏4 = 0.120𝑙5𝑎51 = 0.040

𝑎52 = 0.045

𝑙6𝑎61 = 0.040

𝑎62 = 0.045

D

Table 3 Desired TrajectoryY𝒙𝑑 (𝑡) = 𝒙0 + (𝒙𝑓 − 𝒙0 ) 𝜔(𝑡/𝑇 )˙)𝒙˙ 𝑑 (𝑡) = (𝒙𝑑 − 𝒙0 ) 𝜔(𝑡/𝑇
𝒙𝑓 = (−0.20, 0.40)T [m]X

𝒙0 = (0.22, 0.56)T [m]𝑇 = 2.0 [s]Table 4 Gains

Fig.2 Dynamic damping ellipsoid at the end-point
Table 1 Physical parameters of the arm model

LengthMassInertia

Mass center

[m]

[kg]

[kg⋅m2 ][m]

Upper arm

0.31

1.93

0.01410.165

Forearm

0.34

1.52

0.01880.170

動的手先粘性楕円体を導入する [7]．今，制御入力における粘性部分のみを抽出すると，以下の様に表される．

𝝉 𝐷 = −𝑾 𝑷 𝑨𝑪𝑾 T 𝒒˙ ∈ ℝ2100𝑰 6Φ

50𝑰 6

Ψ

40𝑰 60.6

𝑾 𝑷 𝑨𝑪𝑾 𝑱−1∈ℝ

2×2−1 T −1𝑭T) 𝑫 𝑭𝐷 ≤ 1
𝐷 (𝑫(17)

手先が望みの軌道を実現している間において，式 (17)で表された動的手先粘性楕円体がどのような形状変化をしているのかを見ることで，理想軌道を実現するための筋内力の決定指針とすることができる．

y-position [m](16)T

式 (16) より，動的手先粘性楕円体は以下の様に求まる．

5.

𝑲𝑣(15)

𝑭 𝐷 = −𝑫𝒒˙ ∈ ℝ2𝑫=𝑱200𝑰 6

楕円体に関しては，運動開始直後から中盤に掛けて大きな粘性は発生しておらず，またその姿勢変化も少ないことがわかるが，目標軌道を実現するために，軌道途中で微小な粘性の調整を行っていることが確認できる．また，運動終了直前から急激に粘性が大きくなっ

式 (15) で表された関節粘性を手先座標系で表すと以下の様になる．
−1𝑲𝑝0.40.2

数値シミュレーション

数値シミュレーションに用いた各物理パラメータ，目標軌道およびゲインを Table 1 から 4 に示す．
Fig.3 に，100 回学習を行った場合の手先軌道と，その時の動的手先粘性楕円体の軌跡を示す．図より，非線形な筋特性を有しているにもかかわらず，それらを特に考慮することなく学習によって目標手先軌道が実現されていることが確認できる．また，動的手先粘性➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛

0-0.4-0.2

0x-position [m]0.2

Fig.3 End-point trajectory and the dynamic damping ellipsoid in the case of realizing a desiredreaching movement after 100th trial䣔䣕䣌䢴䢲䢲䢻䣃䣅䢴䣍䢳䢯䢲䢸f1 [N]20
10000.5

1Time [s]1.5

2用いた，Virtual spring-damper hypothesis による理想のリーチング運動の実現を目指す．
謝辞 本研究は，文部科学省科学研究費補助金 基盤研（課題番号 20560249）の交付，および次世代研
究（C）
究スーパースター養成プログラム（九州大学総長裁量経費）の支援により行われたものである．

f2 [N]

20
10000.5

1Time [s]

1.5

20.5

1Time [s]

1.5

20.5

1Time [s]

1.5

20.5

1Time [s]

1.5

20.5

1Time [s]1.5

2f3 [N]20
1000f4 [N]20
1000f5 [N]20
1000f6 [N]20
1000Fig.4 Transient responses of the muscle forces after
100th trialており，これにより，手先にブレーキを掛けて目標位置に停止させていることが確認できる．また，Fig.4 に筋力の時間応答を示す．筋は収縮力のみ発揮できるた
め，負の値をとることができない．よって，学習初期において，腕の姿勢によって入力トルクが不連続になっている場合が確認されたが，学習後は拮抗した筋肉がそれぞれ補完し合い，滑らかな関節トルクを実現していることがわかる．
また，初期筋内力を与えることで，学習速度が速くなることが確認された．すなわち，初期筋内力によって関節粘性が大きくなるため，学習初期における手先軌道のぶれ幅が減少し，結果として学習速度が上がると考えられる．本稿では割愛するが，初期筋内力の与え方によって学習回数を 13 以下まで減少させることができた．

6.

おわりに

本論文では，筋冗長性を有するアームモデルを用いたリーチング運動について，繰返し学習制御による理想軌道の獲得を行い，また，その時の筋内力を動的手先粘性楕円体によって記述することで，理想軌道を実現しているときの筋内力を獲得することができた．今後は，これらで獲得された筋内力の時系列パターンを➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛[1] N. A. Bernstein: “The problem of the interrelation ofcoordination and localization,” Arch. Biol. Sci., Vol.
38, pp. 15–59, 1935.
[2] K. Tahara, et al.: “On control of reaching movements
for musculo-skeletal redundant arm model,” Applied
Bionics and Biomechanics, Vol. 6, No. 1, pp. 57–72,
2009.
[3] 田原, 木野: “筋骨格冗長アームの手先到達運動における手先粘性楕円体を用いた筋内力の評価”, 第 26 回日本ロボット学会学術講演会予稿集, 1I2-03, Sep. 2008.
[4] H. Mashima, et al.: “The force-load-velocity relationand the viscous-like force in the frog skeletal muscle,”
Jap. J. Physiol., Vol. 22, pp. 103–120, 1972.
[5] S. Kawamura, et al.: “Realization of robot motion
based on a learning method,” IEEE Trans. Sys., Man,Cybern., Vol. 18, No. 1, pp. 126–134, 1988.
[6] T. Flash, N. Hogan: The coordination of arm movements: An experimentally conﬁrmed mathematicalmodel,” J. Neurosci., Vol. 5, No. 7, pp. 1688–1703,1985.
[7] T. Tsuji, et al.: Human hand impedance characteristics during maintained posture,” Biol. Cybern. Vol. 72,No. 6, pp. 475–485, 1994.