立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

人とロボットでの価値観の相互理解によるパートナーシップの創発
Emergence of partnership by mutual understanding of human and robot priorities
2191008

研究代表者

奈良先端科学技術大学院大学
情報科学領域

助 教小林泰介[研 究 の 目 的]
ロボット技術の発展により，福祉・介護分野やサービス業などでよく見かける，人と触れ合う作業が求められる課題 (例えば，歩行補助など) へのロボット導入が現実味を帯びてきている。このようなロボットは人の価値観を理解し動作に反映させるだけでなく，ロボットが提供したいサービス内容もある種のロボットの価値観として人に伝えることが望ましい。すなわち，人・ロボット間での相互理解を推進する技術を開発することで，ロボットが人との適切なパートナーシップを構築できると考えている。
このようなロボット技術として，本研究期間では大きく以下の 2 つの開発に取り組んだ。

図1

力覚ベース駆動型移動ロボット1．人の主観に応じたロボット制御則の最適化
初は 4 脚ロボットを想定していたものの，力覚(ロボットによる人の価値観の理解)
2．ロボットが求める人の挙動からの異常検知的インタラクションの実現可能性などを検討し(人へのロボットの価値観の呈示)た末に，HEBI Robotics 社製が開発している作

これら 2 つの基盤技術による，人・ロボット動駆動型モバイルベースに，2 軸アクチュエー間での双方向な力覚的インタラクション実現がタを搭載するポール部を取り付ける構成とした

本研究の目的となる。

(図 1 参照)。
各アクチュエータは直列弾性アクチュエータ機構となっており，弾性要素であるバネ前後の[研究の内容，成果]角度差を 2 つのエンコーダで計測することによって外力がもたらすトルクを計測可能である。

0．ロボットの開発
本研究実施にあたって，人と力覚的インタラ

この計測値を利用して，ポール部およびモバイクションが可能な移動ロボットを開発した。当ルベースのアドミッタンス制御を実装した。す― 1 ―立石科学技術振興財団

なわち，ポールに加わったトルクの一部をポーものの，本タスクのように人の主観を評価関数ルの (受動的な) 駆動力とし，残りをポール部とする場合，そこには意思決定の揺らぎというに関するヤコビアンを介して外力に変換した後，到底分散が一定にはなり得ない要素が含まれてモバイルベースの駆動力として与える。これらしまう。そのため，分散を可変とする異分散ベ駆動力は仮想的なインピーダンスパラメータでイズ最適化手法を採用することで，人の意思決定義されるダイナミクス (および実際の移動台定の揺らぎに対しても頑健にパラメータを最適車のダイナミクス) に従って各アクチュエータ化できるようにした。
評価実験および人の主観の分析として，実装の角速度指令値へ変換される。

した制御則が持つ 4 パラメータの最適化を合計
1．人の主観に応じたロボット制御則の最適化
上記で実装したアドミッタンス制御では，仮8 人に対して個別に実施した。なお，この実験は本学倫理委員会の承認の上実施された。

想的なインピーダンスパラメータ次第で応答が上述した 8 の字移動タスク (図 2 参照) を大きく変化するため，最適化が必要である。本

個々人で合計 30 試行繰り返した際の，各試行研究では，人とのインタラクションを可能な限までにおける最大評価値を図 3 にプロットした。

り円滑にすることが最適化目的となりえるが，4 パラメータでは，各パラメータの候補値をた

これは定量的に定義しづらく，個人差が予想さかだか 10 パターン用意したとしても，総組みれる。そこで，最適化目的を人の主観と定めて，合わせ数は 10,000 通りとなる。そのような問

そのブラックボックスな評価関数に関して経験題設定でありながら，どの被験者においても，的に最大化 (あるいは最小化) を図るベイズ最30 試行内で概ねより良い評価値を得るパラ適化をパラメータ設計に活用する。

メータを発見できていることが確認できた。

具体的には，開発した移動ロボットと人とが行い得る基本動作として，8 の字移動タスクを次に，人の主観の個人差を改めて確認すべく，実験で得られたデータに対してクラスタリング

パラメータ最適化時のタスクとして設定した。
このタスクの試行中において，人はリアルタイ
ムで移動ロボットの操作感を 3 段階評価し続ける。この評価は手元の小型デバイスへの入力としてデータ化され，タスク終了時における平均値を実際の評価結果とする。なお，このときの3 段階評価については陽に基準を設けず，あくまで人の主観に委ねるものとした。

図28 の字タスクの様子

図3

ベイズ最適化の結果

ベイズ最適化では，評価結果を得るまでの 1
試行中はパラメータを固定しておき，固定されていたパラメータと評価値の対応から評価関数をガウス過程回帰を用いて推定していく。その推定された関数から，推定精度が不十分な，あるいは最も良いであろうパラメータを選択して次試行に用いる。この繰り返しによって，経験データのみから効率良く最適なパラメータを探索・決定できる。ただし，一般的なベイズ最適化では評価関数の分散は一定であると仮定する― 2 ―Tateisi Science and Technology Foundation

一切分配しないよう設計することで，非登録ユーザとみなされたことを力覚的に呈示する枠組みを開発する。
登録ユーザによる操作か否か判定するには，その操作履歴のパターンを適切に認識するような時系列データ処理技術が求められる。当初の計画では，これにリザーバコンピューティングと呼ばれる再帰型ニューラルネットワーク
図4

被験者の階層的クラスタリング結果(RNN) の一種を活用する予定であったが，そを図った。まず，人が試行中のどのような状況の特徴である出力層のみの学習では十分な予において良し悪しを評価していたのかを探るた

測・分類性能を発揮できないことが懸念された。

めに，評価値と実験中の 19 次元の計測データ

そこで，先行研究で開発してきたリザーバコン間の関係を重回帰分析により捉えた。ただし，ピューティングの一種である少数階微分型の実際には時系列要素の影響も想定できることかネットワークパラメータを一般的な RNN と同ら，時系列データに向けた拡張型の重回帰分析様に時間方向の誤差逆伝播で学習可能としたモを用いた。得られた被験者ごとの偏回帰係数に

デル RGaM を開発した。これは RNN のモデ対し，階層的クラスタリングを施した結果のデル構造を可能な限り簡素化した最新モデルであンドログラムを図 4 にまとめた。クラスタ数のる JANET の派生とみなせる設計となっている。

自動決定手法を適用してみると，被験者 G の具体的には，RGaM は図 5 に示すニューロみが別クラスタとなり，その他は共通のクラス

ン (ま た は ユ ニ ッ ト と 呼 ぶ) 構 造 を 有 す る。

タに分類された。この結果から，今回対象としJANET の開発時に指摘されたように，最も代た，人と移動ロボット間の力覚的なインタラク表的で実際に優れた成果を収めている RNN モションにおいては，多少の個人差はあるものの，デルといえる LSTM の構造の中で最も重要な概ね共通のパラメータで満足のいく操作感が得機構が入力ゲート機構，すなわち入力をどの程られることがわかった。すなわち，これらのパ

度 内 部 状 態 に 反 映 さ せ る の か，で あ る。

ラメータは事前設計しておいて良く，その他にJANET および RGaM はこの機構のみ LSTM

考えられる要素 (仮想ばねの自然長や外力のから踏襲している。RGaM ではこれに加えて，ポール部とモバイルベースへの分配法など) の少数階微分方程式を適切に近似することで得ら変化を通じて，ロボットから人へ価値観を呈示する枠組みが望ましいといえる。
2．ロボットが求める人の挙動からの異常検知
基盤技術 1 の開発・検証を通じて，ロボットから人へ価値観を力覚ベースで呈示するには，例えば外力の分配法を状況に応じて調整することが肝要であることがわかった。そこで基盤技
術 2 では，まずロボットが求める人の挙動を登録ユーザによる操作と定義し，非登録ユーザによる操作を異常と検知する機構を開発するとともに，異常検知の際に外力をモバイルベースに― 3 ―図5

RGaM ユニットの構造立石科学技術振興財団

れる内部状態の履歴を保持する変数を持つ。これは LSTM における隠れ状態に対応しているとみなせるが，より具体的な履歴としての意味を持つことに注意したい。これを内部状態の更新に活用することで JANET よりも長期的な時系列データの表現に適したモデルとなっている。
この履歴の保持期間を陰的に決定するパラメータは連続値で与えられていることから，誤差逆伝播で学習可能であることに注目し，ニューロ

図 7 ユーザ判定に基づく外力分配の切替ンごとに個別に学習可能とする。これにより，対象とする時系列データに適した保持期間を自合には，適切にポール部とモバイルベースに外動的に決定できる。

力が分配されて快適に操作できた一方で，非登前述の実験の被験者 8 人から明らかに傾向の録ユーザが登録ユーザとは異なる挙動で操作し異なった被験者 G を除き，新たに 2 人を加えた結果，RGaM による異常検知が働き，モバた合計 9 人分のデータセットを用意した。そのイルベースへの外力の分配を途絶えさせた。こ内の 1 人を登録ユーザと仮定して，登録・非登れにより，非登録ユーザにロボットの要求を力録ユーザの分類学習を交差エントロピー法によ覚的に呈示することに成功したといえる。

り実施した。センサデータは合計 26 次元であまた開発した RGaM のもう一つの利点としる。学 習 結 果 を 図 6 に ま と め る。開 発 し たて，省メモリであることが挙げられる。実際，

RGaM は全体的に従来の RNN モデルより優れ上記の実験時のメモリ使用量は LSTM の約半た性能を示していることが確認できた。また，分に抑えられており，制御用プログラムの使用

特に注目したいのが非登録ユーザを登録ユーザ量と比べると約 10% となっていた。このため，と誤認してしまった FN 値であるが，RGaM計算資源が限定的な移動ロボットでは RGaM

では 0 となっている。すなわち，RGaM を用は有効な時系列データ処理技術といえる。

いたロボットは，人に要求する挙動 (登録ユー[今後の研究の方向，課題]

ザによる挙動) を数値的に的確に表現することに成功したといえる。
このとき学習で得られた RGaM モデルを用

本研究助成期間では，上記の 2 つの基盤技術

いて，実際に非登録ユーザであることを力覚的を個別に開発を進めることができたものの，に呈示する枠組みを開発し，そのデモンスト人・ロボットのインタラクションを扱うシステ

レーション実験を行った。その結果，図 7 に示ム全体としての開発は不完全に終わった。特に，

すように，登録ユーザがロボットを操作した場

当初の計画ではマルチエージェント強化学習を用いたインタラクションの最適化までを予定していたものの，今回の基盤技術 1 は強化学習における状態・行動空間の構築に，2 は強化学習における報酬関数の設計に留まっているといえる。
今後は本助成期間で開発した基盤技術を基に人・ロボット強化学習環境を具体化し，より高図6

登録・非登録ユーザの分類結果

水準な人・ロボット間の双方向性を有するイン― 4 ―Tateisi Science and Technology Foundation

タラクション実現を目指す。また，そのときの[成果の発表，論文等]

課題として予想される，学習コストの低減に向[ 1 ] 小坂 麻人，小林 泰介，杉本 謙二：“車輪移動ロけた強化学習技術の汎用的な改善，あるいは本ボットにおける力覚ベース操作の主観評価を尊重し問題に特化した手法の導出についても並行してたベイズ最適化，”日本ロボット学会学術講演会，進める予定である。

2C2-06，2020．
[ 2 ] 馬渕 俊弥，小林 泰介，杉本 謙二：“RGaM : 忘却ゲートと記憶履歴を持つ再帰型ユニット，”日本神経回路学会全国大会，P1-17，2020．

― 5 ―