立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

ヒトとロボットの安全な共生のための人工筋肉駆動ロボットの強化学習による制御
Control of artificial muscle- driven robots by reinforcement learning
aimed to for safe coexistence of humans and robots
2191004

研究代表者

中央大学
理工学部

精密機械工学科

助 教

奥井学

するものであり，人工筋肉駆動ロボットの可変[研 究 の 目 的]

剛性特性を陽に扱っていない。可変剛性特性を
本研究は人工筋肉駆動ロボットのための強化活用すれば，ヒトのように運動時に関節剛性を学習を用いた制御システムの開発を目標とする。

変化させ必要に応じて脱力状態などを活用する

既存のロボットがヒトと同じ環境で動作する場など，ハードウェア性能を最大限活用するよう合，柵によって動作範囲を制限したり，動作速な動的な運動生成が期待できる。

度を制限するなどして安全を確保している。こ

そこで本研究では打楽器演奏を対象とし，人れはロボットの活動領域を抑制してしまう。こ工筋肉駆動ロボットのための強化学習を用いたの根本的な要因は，モータ駆動が生物の筋肉駆制御システム開発を目標とする (図 1)。打楽動と比較し，重く堅い動きとなり衝突時の危険器演奏を対象とした理由は，動作の中に脱力状が大きいからである。そこで軽量で柔軟な人工態を含む剛性変化が存在するためである。

筋肉の開発が盛んであるが，応答の遅さや非線形性といった特性が制御において課題であり，実用に至っていない。この制御性の悪さが解決されれば，人工筋肉駆動ロボットの実用化が近づくと考える。

図1

そこで，ヒトが特定の動作に対して反復練習

人工筋肉駆動ロボットシステムの概要により成功時の感覚を体に覚えこませているこ[研究の内容，成果]とに着目した。この習熟過程で獲得された動作は，生体筋の特性変化や環境変化に対してロバストであるため，人工筋肉の制御には強化学習

打楽器演奏動作の解析が適していると考えた。これまでにも，ソフト実ロボットを用いた強化学習では，ロボットロボットや人工筋肉に対して実機を用いた強化のハードウェア性能が所望の動作を再現できる学習に関する研究が行われているが，ほとんど性能を有する必要がある。そこで，ロボット設が経路計画やフィードバックパラメータを学習

計 に 向 け て，人 間 の 打 楽 器 演 奏 動 作 の 解 析― 1 ―立石科学技術振興財団

図2マーカーセットを行った。解析では，光学式モーションキャプ チ ャ シ ス テ ム (MAC3D) で 動 作 を 取 得 し
た の ち，筋 骨 格 解 析 ソ フ ト ウ ェ ア nMotion
Musculous (ver. 1.58，ナックイメージテクノロジー株式会社) を用いて関節角度やトルクを算出する。計測では，被験者は高さ 520 mm の椅子に座り，打面高さ 680 mm，椅子との中心間 距 離 630 mm に 置 か れ た ス ネ ア ド ラ ム(YAMAHA, AMS1460RAU) を演奏した。図 2に示すように，被験者の各体節の骨格特徴点上

図 3 測定角度．縦軸は角度 [deg] を，横軸は時間 [s]を表す。スティック先端が打面にあたる瞬間を赤線で示したにマーカを 23 点貼り，8 台の計測用カメラを用いて 100 Hz で演奏動作を計測した。計測結とがわかる。加えて，降り下げ動作の最後には果から筋骨格モデルを用いて，肘関節の屈曲，打面からの反発による関節角度の変動が観察で内旋，内転および手首関節の屈曲，撓屈の角度きる。また，振り上げ振り下げ動作についてはを算出する。また，手首の屈曲についてはトル肘関節が手首よりわずかに早く動作を開始してク算出も行う。なお，トルク算出時にスティッいることが観察できる。

クの重さは考慮しない。計測動作は 60 bpm，各データの振幅に着目すると，ほとんどの関音量 mf での四分音符とした。被験者はメトロ節の関節角度の振幅が 20-30 deg 程度であるのノームに合わせ，測定動作を 2 小節，すなわちに対して，手首屈曲は 45 deg 程度と大きい。

8 打演奏する。被験者は演奏歴 10 年以上の打これは，手首屈曲が最も演奏に寄与しているこ楽器奏者である。とを示唆する。またこの結果は，演奏者へのヒ測定結果を図 3 に示す。図は 8 打のうち 4 打

ヤリング結果とも一致する。

目から 6 打目を含むよう，測定データのうちの

図 4 に手首の屈曲トルクを示す。トルクは常3 秒間を示している。肘関節について屈曲，内に負の値であり，常に重力に対して手首を支え旋，内転方向を正方向とした。手首関節は屈曲， る方向に働いている。待機状態では自重を支え，撓屈方向を正とした。また，実験時に撮影した振り上げ動作では，負の方向にトルクを増大し動画からスティックが打面にあたる瞬間を確認し，グラフ中に赤いラインで示した。
測定データより，演奏では 1 秒を 1 周期として，待機状態から振り上げ (バックスイング)動作を経て，振り下げ動作によって演奏するこ― 2 ―図 4 手首の屈曲方向トルク

Tateisi Science and Technology Foundation

手首を振り上げ，振り下げにおいては力を抜く

McKibben 型 人 工 筋 肉 は Festo 社 の Fluidic

ことで，自重を活用して手首を動かしている。

Muscle DMSP (10) の内径 10 mm，長さ 180

また，打面をたたいた直後は，振り下げた手首mm の 人 工 筋 肉 を 使 用 し た。プ ー リ 径 は 16を待機状態とするため動作を止める方向にトルmm であり，手首関節部分の可動域は 100 deg，クを発生している。

全可動域で 1 Nm のトルクを発生できる。そのこれより，本実験条件での打楽器演奏においては，打面を叩くために手首を積極的に屈曲方ため，動作解析の結果より打楽器演奏動作を生成できる。

向に動かしていないことがわかる。すなわち，振り上げによって蓄積した位置エネルギを脱力

実ロボットのための強化学習方法によって速度エネルギに変換し，演奏していると推定できる。

ヒトの動作獲得では反復練習により運動スキルが向上することは経験的に良く知られている。
このとき，筋単体は独立に制御されておらず，ドラムロボットの設計・製作符号化された動作パターンの組み合わせによっ

演奏動作解析結果より，手首屈曲の演奏時のて運動していると言われている。そこでロボッ

角度変化幅が最も大きく動作に最も寄与していトの強化学習においても，ハードウェアである

たため，打楽器演奏ロボットは手首のみアク筋骨格構造を活用して符号化を行うことで，学ティブな平面動作ロボットとした。その構成を習スピードの向上や身体構造を生かした動作獲

図 5 に示す。前腕部分に人工筋肉を拮抗配置し，得ができると考えた。

手首関節において可変剛性を実現している。ま

提案する学習方法の概要を図 6 に示す。提案たスティックを握る手の部分はパッシブな関節手法はモンテカルロ法を参考に開発した。モンとなっており，手首関節の動きによりスティッ

テカルロ法はエピソードごとの報酬に基づいてクが上下に動く。本構造によって，上の人工筋方策を更新する手法である。学習方法における肉の収縮により振り上げ，弛緩により振り下げ

行動は脱力，保持，振り下げ，振り上げの 4 通ることでドラムを叩く動作ができる。

り，状態は行動開始からステップ時間ごとの経手部は長さ 120 mm，重さは 390 g である。

過時間である。Δt を学習におけるステップ時ドラムスティックの持ち手となる部分にパッシ間とし，0.1 s とした。 T は episode ごとの行ブな関節を配置した。前腕部分に McKibben

動開始からの経過ステップ時間である。また，型人工筋肉 2 本を拮抗配置させ，収縮力がワイ

目標とする発音タイミングを T とする。方策ヤ (ダイニーマ) により，手首関節を模していである Q table の値に基づき，各ステップ時間

る プ ー リ に 伝 達 さ れ て ト ル ク が 発 生 す る。

で の 行 動 を 決 定 す る。行 動 の 選 択 で はε-greedy 法を用いた。
Q-table は episode が終了する毎に一度，以下の式に基づき更新される。
Q T, a=(1−α) Q T, a+α  r (T′)γ  ′ 
ただしr T ′= rT ′=T

図5r T ′= r T ′≠T

開発したドラムロボット― 3 ―立石科学技術振興財団

Q-table

表1Action a

Swingup

Keep
State

Swingdown

Relax

T0
T1
T2

Extensor

Flexor

Keep

0.350

Swing up

0.50

Swing down
Relax

000.50川県，日本) を用いる。制御，計測周期はとも～
State

行動と人工筋肉へ印加圧力に 100 Hz とした。ロボットの関節角度の定義

T′ 2T′ 1は，Fig と同様の設定である。手首関節の可動T′域は ±40 deg となるようにワイヤを設定した。

Repeat every time step ΔT1．Select action a according to Q table using ε-greed
2．Time step is updated T←T′+ΔT
Until Reward≠0Update Q-table according to the equation below
Q T, a=(1−α) QT, a+α  r (T′ )γ  ′ 

図6

スティック部については −5〜90 deg となるように，バンプラバーを取り付け可動域を制限した。

学習方法の概要

状態行動空間は図 6 と同様である。4 つの行である。ここで α は学習率，r は報酬，γ は割動と人工筋肉への印加圧力の関係は表 1 に示す引率を表す。また，T ′ は報酬を得たステップ通りである。エピソードは，2 秒間の Keep 状時間である。

態ののちに開始する。打面を叩くか，エピソー
ド開始から 1.2 s 経過で試行を終了する。エピソード終了時に報酬を受け取り，Q table を更強化学習実験
実ロボットを用いた学習実験により，身体を新する。加速度ピックアップの出力の絶対値がうまく使った動作を獲得できるかどうか検証す

1 を超えた際に打面を叩いたと判定する。報酬る。図 7 に実験環境を示す。制御システムとしは，エピソード開始から 3±0.05 s で叩いた際て dSpace 社製 MicroLabBox を用いる。人工に，加速度ピックアップで計測した加速度の立筋肉に印加する圧力は MicroLabBox に接続しち上がりを報酬とした。3±0.05 s 以外のタイた電空比例弁で制御する。コンプレッサからのミングで叩くか，叩かずに 3.5 秒経過した際の空圧の変化を空気圧センサで検出する。手首部報 酬 は −1 と し た。ε=0.01，α=0.1，γ=0.9分とドラムスティックの回転角度はエンコーダとした。

で計測する。ドラムの打面に取り付けた加速度実験の結果，約 1000 エピソードでの学習のピックアップ (NP-3418；小野計測，神奈川県，収束を確認した。収束時の関節角度および圧力，日本) で音量と発音タイミングを計測する。振加速度ピックアップで計測した値を図 8 に示す。

動量を振動加速度に比例した電気信号として取角度のグラフより，振り上げ，降り下げから大り出す際にアンプ (SR-2210；小野計測，神奈

きな音量を適切なタイミングで出すことに成功した。学習後のデータから，振り上げから降り下げをへて，骨格構造を活用した運動生成を確認できる。しかし，振り上げ動作が 2 回確認でき，人間の動作とは異なる結果となった。これは，人間の場合は消費エネルギを少なくするために運動を改善するが，今回の報酬設定の場合はただ大きな音を出せばよい条件のためだと考える。なお，打面を叩く直前での急峻な角度の

図7

実験環境

方 向 変 化 は，関 節 可 動 域 の 限 界 に 達 し て ス― 4 ―Tateisi Science and Technology Foundation[今後の研究の方向，課題]
実ロボットを用いた実験により，提案手法する学習方法によってハードウェア特性を活用した動的な運動生成が可能なことを示した。今後は学習方法の理論的な考察および他手法との比較を行う。
[成果の発表，論文等][ 1 ] 奥井 学，西濵里英，鈴木隆二，中村栞莉，木村成吾，中村太郎，“空気圧人工筋肉を用いた打楽器演奏ロボットの開発に向けた打楽器演奏動作の解析”，第 38 回日本ロボット学会学術講演会，1H3-5(2020. 10)[ 2 ] 奥井 学，中村栞莉，木村成吾，中村太郎，“実図8機を用いた強化学習のための空気圧人工筋肉駆動打獲得した動作楽器演奏ロボットの開発”，ロボティクス・メカト

ティックがラバーにぶつかり，跳ね返っているためである。

― 5 ―ロニクス講演会 2021，E07-2P2, (2021. 6)