計測自動制御学会東北支部 348 回研究集会 (2024.5.31)
資料番号 348-2

シナジーを利用した低品質な教示動作を含むデータセットからの模倣学習

Imitation learning from datasets containing low-quality
demonstrations utilizing synergy〇田中裕人*，沓澤京*，大脇大*，林部充宏*〇 Yuto Tanaka*, Kyo Kutsuzawa*, Dai Owaki*, Mitsuhiro Hayashibe**東北大学*Tohoku University
キーワード:
連絡先:

機械学習 (machine learning), 模倣学習 (imitation learning), シナジー (synergy)〒 980-8579

宮城県仙台市青葉区荒巻字青葉 6-6-01 東北大学 青葉山キャンパス 機械系共同棟

503 田中裕人 Tel.:022-795-6970 Fax.:022-795-6971 E-mail: yuto.tanaka.r8@dc.tohoku.ac.jp1.

緒言の優先度を定義することでこの問題に対処した
1) 2) 。一方で、それらの手法は複雑なアルゴリ

模倣学習は、人間のデモンストレーションなズムを要し、また人の手によるラベリングを必どからその行動軌跡を模倣する学習アルゴリズ要とする。そこで本研究では、人間の運動に内ムである。模倣学習は報酬設計を必要としない在するシナジーという低次元化された構造に着効果的な手法であり、強化学習におけるサンプ

目した、より簡潔かつ手動のラベリングを要しリング効率の問題を解消できる手法として注目ない手法でこの問題に対処することを試みた。

され、ロボット制御や自動運転システムなど幅近年の神経科学の研究において、人や動物は広い分野で利用されている。

シナジーと呼ばれる低次元化された機能群を用

模倣学習はその性質上、模倣するデモンストレーションが最善のものであるという前提に基いて、冗長な手足の多数の関節を効率よく制御していることが示唆されている 3) 。シナジーはづいている。しかしながら、現実問題として、これまでリハビリテーションやロボット工学の人間からデモンストレーションを取得する際、分野において利用されてきたが、先述の模倣学被験者間の熟練度の違いや疲労などから、模倣学習のデータには不完全なデータ（熟練度の低習における課題に対して利用されたことはない
4) 5) 。一方で近年ではシナジーと運動の熟練度いデータ）が含まれることがある。この場合、の関係が注目されており、Gentner ら 6) は、熟模倣学習は不完全なデータをも模倣してしまう

練度の高いバイオリニストでは演奏動作においため、結果としてその性能を著しく低下させてしまうことがある。関連研究では、軌跡に対して非熟練者よりもシナジーが発現していることを示した。また Chai らの研究 7) では、ロコモーてランク付けや信用度の割り振りを行い、模倣ションにおける強化学習において学習が進むに–1–

つれてエージェントの運動に低次元構造シナジー

シナジー W · C が元データ X をどれほど正確が発現することが明らかにされており、またシに再構成できるかを次式に示す R2 指標にて評

ナジーと高いエネルギー効率との関係も示唆されている。同様に Han らの研究 8) においても、価することができる。

リーチング運動における深層強化学習においてR2 = 1 −シナジーが発現することが明らかにされている。
そこで、これらの研究結果および知見から、本研究ではシナジーを模倣学習の課題に利用できると考えた。シナジーを模倣学習に用いることで、学習が進んでいない不完全な軌道と、学習が進んだ最善な軌道を選択的に生成できると仮説を立て、検証を行った。検証の結果、本手法
は高次元の連続制御タスクにおいて、ベースラ||X − X̂||2F||X − W · C||2F(3)

ここで‖·||F はフロベニウスノルムを表している。R2 の値が大きいほど元のデータの再現率が高い。しかしながら R2 指標は抽出するシナジー数 P によって値が変化してしまう。そのため本研究では低次元構造の指標として各 P におけるR2 の平均をとった Synergy Level Index (SLI)を用いる。

イン（通常の模倣学習）を上回った。

1 ∑ 2RiNN

SLI =

2.

手法

2.1

Spatial Synergy

(4)

i=1

SLI を用いることで P に依らないシナジーの本研究ではデータセットの軌跡における ac-評価が可能となる。

tion（agent の joint torque）から Spatial Synergy を抽出し、評価した。Spatial Synergy は2.2

多次元の時空間データから低次元の時空間デー2.2.1

タとして抽出される。Spatial Synergy は次式のように表される。

模倣学習
Behavior cloning および提案手法

本研究では単に suboptimal な軌道が含まれるデータセットから模倣学習することを目的とする。そのため過去の行動履歴から方策を復元す

xl (t) =P∑

clp · wp (t) + residuals(1)

X =W ·C(2)

るシンプルな模倣学習アルゴリズムである Be-havior Cloning(BC) によって学習する。BC のp=1

目的関数は次のように表すことができる。

ここで xl (t) は l 番目の試行の全関節への入力トルク、w, c はそれぞれ抽出されるシナジーおmin E(s,a)∼D [− log π(a|s)]
πよび可変パラメータである。また P は抽出されs, a はそれぞれデータセット D から得られるるシナジー数を表している。 (2) 式は (1) 式の残差項を無視し、行列形式で書き換えたものである。W は空間的なシナジー（どの関節を同時に動かすか）、C は各時刻におけるシナジーの活性度を表す。この Spatial Synergy は PCA（主成分分析）を用いて residuals を最小化することにより、近似的に求めることができる。また(5)

状態、行動である。本手法を次式に示す。本手法
では後述の SLI と報酬和の関係から、状態 s に加え、標準化した SLI, β で条件付けすることでSLI に応じた軌道を生成できるよう模倣学習を行う。つまり本手法を用いることで optimal とsuboptimal な軌道が混在したデータであっても–2–optimal な軌道 (SLI が高い軌道) を選択的に生成することができる。

min E(s,β,a)∼D [− log π(a|s, β)]π2.3(6)

評価方法

本研究では以下の二つのデータセットで本手法を評価した。また本手法の概要図とアルゴリ
ズムを Fig.3, Algo.1 に示す。

2.3.1

Fig. 1: ロコモーションや迷路など様々なタスクを含む模倣学習やオフライン強化学習用デー
タセット D4RL9) 。

D4RL

本 研 究 で は 模 倣 学 習 の デ ー タ セット とし て D4RL9) の ロ コ モ ー ション デ ー タ セット medium-expert データセット (halfcheetah,Walker2d, Hopper) を用いた。medium-expert

SLI を算出した。またシミュレーション環境でタスクの成功率およびタスクの実行にかかった時間を評価した。

は medium(学習を途中で打ち切った方策) と ex-pert（ほぼ完全に学習が完了した方策）の混合データセット（suboptimal と optimal を含む）であり、本研究が想定している問題設定に最適であるといえる。初めにそれぞれのデータセッ
トにおいて長さ 1000step(10 秒間) の軌跡を取り出し、それぞれの軌跡に PCA を行うことで各軌跡の SLI を算出した。次に SLI と報酬和に相関があることを示し、SLI で条件付けされた提案手法で模倣学習を行い、シミュレーション環境でその性能を評価した。また β 値を変化させることで性能に生じる変化を確認した。

2.3.2

Fig. 2: 多関節ロボット Panda を人間が操作し、持っているオブジェクト（缶）を決められた枠に入れるタスクの行動軌跡を集めたデータ
セット Pick and Place Can10)

Robomimic

より実用的なタスクにおいても検証するため、模倣学習データセット Robomimic10) におけるPick and Place Can タスクにおけるデータセッ
ト用いた。このデータセットは多数の人間から3.

結果

3.1

D4RL における本手法の性能集められたデータセットであり、それぞれのデFig.4- 6 に Half Cheetah, Walker2d, Hopper

モンストレーションの品質が異なる。2.3.1 と同の medium-expert データセットにおける報酬和様、一回のデモンストレーションを取り出し、を横軸、標準化した SLI,β を縦軸にとしたときそれぞれの軌跡に PCA を行うことで各軌跡のの散布図を示す。

–3–

Calculate β (SLI) by PCA

X, X̂
Actionjoint 1
original
decomposedDataset

W
C
Activatity coeﬃcients Synergies

joint 2comp 1

τ1 = {s1 , a1 , s2 , a2 , · · · , sT , aT }τ2 = {s1 , a1 , s2 , a2 , · · · , sT , aT }..
.

Behavior Cloning

Synergy 1

joint 3

τComposes, β·comp 2

joint 4

Decompose

Synergy 2comp 3

τN = {s1 , a1 , s2 , a2 , · · · , sT , aT }(s, β)πθ (a|s, β)Synergy 3

joint 5

joint 6

Fig. 3: 本手法の概要図

halfcheetah-medium-expert-v2

Algorithm 1 Imitation Learning with Synergy Level Index (SLI)
Dataset D with trajectories τi ={s1 , a1 , s2 , a2 , . . . , sT , aT }2: Output: Policy π(a|s, β)3: procedure Calculate SLI
4:
for each trajectory τi in D do
5:
Extract actions ai from τi6:Perform PCA on ai to get synergy
W and coeﬃcients C∑2
7:
Compute SLIi = N1 N
i=1 Ri where
1: Input:

Synergy Level β

420−2−4
00.2

0.4
0.6
0.8
Rewards Sum

1·104

Fig. 4: Half Cheetah

walker2d-medium-expert-v2||X−X̂||2
R2 = 1 − ||X−W ·C||F 2Fend for9: end procedure
10: procedure Behavior Cloning withSLI
11:
Normalize SLI to get β
12:Learn policy π(a|s, β) by minimizing
E(s,β,a)∼D [− log π(a|s, β)]13: end procedure
14: Return: Policy π(a|s, β)8:–4–Synergy Level β420−2−4
1,000

2,000

3,000

4,000

Rewards Sum

Fig. 5: Walker2d

5,000

ahopper-medium-expert-v2

hopper-medium-expert-v2

bc
ours (beta=1.625)
2,000

2ScoreSynergy Level β

40

1,000

−2−400500

2,800 3,000 3,200 3,400 3,600 3,800

1,000

1,500

2,000

Training Progress

Rewards SumFig. 9: Hopper

Fig. 6: Hopper
図から optimal な軌道 (報酬和の高い軌道) はSLI が高く suboptimal な軌道（報酬和の低い軌道）は相対的に SLI が低いことがわかる。また SLI で条件付けを行い、BC を行ったときのスコア (10 エピソードの累積報酬の平均) を図 3に示す。ベースラインとして SLI を用いた条件付けのない通常の BC のスコアを示している。
halfcheetah-medium-expert-v2·104
1.2（10 エピソードの累積報酬の平均、影部は標準偏差）、横軸は学習ステップを示す）いずれのagent においても本手法がベースラインを上回っていることがわかる。Half Cheetah においては通常の BC の約 2 倍、Walker2d においては約 1.3倍の性能を示した。一方で Hopper は性能が向上しなかった。また通常の BC では suboptimalの軌道も模倣してしまい、スコアが伸びていな

bcours (β = 1.625)

い。また Fig.7, 8 の結果は行動軌跡のみから算1出した SLI を用いることで、一般の模倣学習で0.8
Score

Fig.7, 8 に各 Agent のスコア（縦軸はスコア想定される報酬ラベルのないケースを想定して0.6も、高い性能を達成できることを示している。

0.4

次に標準化した SLI, β の値を変化させたとき0.2のスコアを Table.1-3 に示す。
0500

1,000

1,500

2,000

βScoreTraining Progress

31450

26835

19952

05484

-14940-24908-34824-23351-32835-23468-33154

Fig. 7: Half Cheetah
Table 1: Half Cheetah
walker2d-medium-expert-v2
6,000

βScorebcours (beta=1.625)

34981

4,00024579

1391703667-12906

Score

Table 2: Walker2d

2,000

βScore

00500

1,000

1,500

3157021629

1142701750-133822,000

Table 3: Hopper

Training ProgressFig. 8: Walker2d

表より β を適切な値に設定（学習し直す必要–5–はない）することで optimal に近い軌道を生成できている。

MLP ではタスクの成功率が本手法を用いたことにより上昇した。タスクの成功率は RNN および提案手法（RNN）でほぼ同じ値だが、本手3.2法の方がタスクにかかる平均消費時間が短い。

Robomimic における本手法の性能

Fig.10, 11 に Robommimic の Pick and Place
Can タスクにおけるモデルアーキテクチャを

4.

MLP、RNN、横軸を学習プロセスとしたときのタスクの成功率（50 Rollout）を示す。

る。とくに Fig.4, 5 の散布図において expert

MLP: Epoch and Success Rate

Success Rate

先行研究の通り、学習が進んだ、熟練した ex-pert はよりシナジーが発現しやすいと考えられ0.5

データが多く分布する SLI の値を用いること

BCOurs(BC)0.4

考察で optimal な軌道が生成されると考えられる。

0.3

また β の値も高すぎても元のデータが分布し0.2ていないため、性能が低下すると考えられる。

0.1

Walker2d では比較的スコアがあまり伸びてい0ないが、これは Fig. 5 の報酬和の散布図からわ0200400600800

かるように Walker2d は expert と medium の性

1,000

Epoch

能差が小さいためである。一方で Hopper では

Fig. 10: 成功率（MLP）

SLI の高い領域では性能が低下していた。これは Hopper は 3 関節しかないため、そもそもシナジーが発現しにくかったと考えられる。そのRNN: Epoch and Success Rate
1

ため本手法は高次元の空間を持つタスクがよりBC RNNOurs(BC RNN)適していると考えられる。Table.4 では、本手Success Rate

0.8

法はベースラインと同様、あるいはそれ以上の0.6成功率であることに加え、タスクを完了するま0.4での時間がより短くなっていた。このことから、

0.2

シナジーは関節や筋肉の冗長性を評価すること0ができるが、本研究ではタスクにおける冗長性
0100

200300Epoch400500（どのように動かしたら缶を効率よく運べるかなど）も評価することができるようになったと

Fig. 11: 成功率（RNN）

考えらえる。そのためより無駄のない動き、素早い動きを選択的に生成することができたと考次に Table.4 に BC(MLP) および RNN におえられる。

ける 500epoch 間の平均成功率と平均消費時間を示す。

Success Rate
Time Consumption

5.
BC
0.18
8.6

Ours(BC)
0.31
7.7

RNN
0.81
5.1

Ours(RNN)
0.85
4.6

Table 4: 500epoch 間の平均成功率および平均消費時間

結言

本研究では行動軌跡のみから算出される SLIが optimal と suboptimal で異なることを示し、SLI を用いることで報酬や状態の情報なしに、BC の性能が向上することを示した。今後の展–6–

望として、より高難易度なタスクについても検証したい。また他のアルゴリズムとの性能の比較も行いたい。

参考文献
1) Daniel Brown, Wonjoon Goo, Prabhat Nagarajan, and Scott Niekum. Extrapolating
beyond suboptimal demonstrations via inverse
reinforcement learning from observations. InInternational conference on machine learning,pp. 783–792. PMLR, 2019.
2) Songyuan Zhang, Zhangjie Cao, Dorsa
Sadigh, and Yanan Sui. Conﬁdence-aware
imitation learning from demonstrations withvarying optimality. Advances in Neural Information Processing Systems, Vol. 34, pp.
12340–12350, 2021.
3) Wynne A Lee. Neuromotor synergies as a basis for coordinated intentional action. Journalof motor behavior, Vol. 16, No. 2, pp. 135–170,1984.
4) Seyed Safavynia, Gelsy Torres-Oviedo, andLena Ting. Muscle synergies: implications forclinical evaluation and rehabilitation of movement. Topics in spinal cord injury rehabilitation, Vol. 17, No. 1, pp. 16–24, 2011.
5) Mitsuhiro Hayashibe and Shingo Shimoda.
Synergetic learning control paradigm for redundant robot to enhance error-energy index.
IEEE Transactions on Cognitive and Developmental Systems, Vol. 10, No. 3, pp. 573–584,
2017.
6) Reinhard Gentner, Susanne Gorges, DavidWeise, Kristin aufm Kampe, Mathias
Buttmann, and Joseph Classen. Encoding ofmotor skill in the corticomuscular system ofmusicians. Current Biology, Vol. 20, No. 20,
pp. 1869–1874, 2010.
7) Jiazheng Chai and Mitsuhiro Hayashibe. Motor synergy development in high-performing
deep reinforcement learning algorithms. IEEE
Robotics and Automation Letters, Vol. 5,No. 2, pp. 1271–1278, 2020.
8) Jihui Han, Jiazheng Chai, and Mitsuhiro
Hayashibe. Synergy emergence in deep reinforcement learning for full-dimensional arm
manipulation. IEEE Transactions on Medical
Robotics and Bionics, Vol. 3, No. 2, pp. 498–509, 2021.
9) Justin Fu, Aviral Kumar, Oﬁr Nachum,
George Tucker, and Sergey Levine. D4rl:
Datasets for deep data-driven reinforcement–7–learning.
2020.

arXiv preprint arXiv:2004.07219,

10) Ajay Mandlekar, Danfei Xu, Josiah Wong,
Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu,
and Roberto Martı́n-Martı́n. What mattersin learning from oﬄine human demonstrations
for robot manipulation. In arXiv preprint
arXiv:2108.03298, 2021.