2020年度 グループ 4 活動報告
研究開発項目 4︓CA 協調連携の研究開発

研究開発課題１：自在 CA 制御技術の基盤研究開発
自在 CA 制御技術の研究開発
一人の人が複数台の CA を遠隔操作することで、家庭や病室などの室内タスクを効率的に実行するための基盤要素技術を研究開発する。当該年度は、次年度以降の研究開発を効率よく推進するために、CA の操作システムや学習システムの検討を行った。具体的には、遠隔操作のコマンド/センサ時系列を分節化し、意味のある行動セットを学習することで、その行動をベースとした複数エージェントへの行動割り当て問題として解く手法（ルールベース）、およびマルチエージェント強化学習によって解く手法（学習ベース）の二面から進めることを検討している。また、操作システムとしては、画面型やＡＲ型のインターフェース、およびセンサ情報のフィードバックについて検討し、来年度の実装に向けて方向性を定めた。ＢＭＩを用いた操作についての検討も開始した。さらには、遠隔操作において問題となると考えられる通信の遅延を解決するための動作予測に基づく手法を検討し、0.5 秒程度の通信遅れであれば予測制御によって補正できることを示した。

自在 CA 制御プラットフォームの研究開発
複数台の CA（ロボット）を遠隔操作を交えて協調させるためには、CA のハードウェアとソフトウェアを、複数台の協調、遠隔操作、半自律化といったこれまで独立に考えられて来た視点を融合することで選定・開発する必要がある。当該年度は、次年度以降に複数台のロボットを制御する基盤システムを構築するにあたり必須である ROS１から ROS２への移行を検討した。検討の結果、ROS1 を完全に ROS2 に移行することは、現状の資産をすべて書き換える必要があるという大きなデメリットがあるため、ROS1 によるブリッジで複数台同時制御を実現する方針とした。実際に ROS ブリッジのシステムを構築し、2 台のロボットを同時に操作できることを確かめた。また、来年度以降に使用するロボットの策定を進めた。

インフラ整備と実証実験の実施
当該年度は、実証実験や万博でのデモンストレーションを見据えた実験環境の検討を進めた。具体的には、家庭環境を大阪大学の実験室に構築すると共に、電気通信大学とも協力して双方で通信して実験のできる環境を検討した。また、家庭内タスクとして、片づけタスクや洗濯タスク、料理タスクを検討した。また、病室タスクを実現するために、病室環境を構築する実験室の確保と、協力関係を構築できそうな病院の検討をスタートした。

研究開発課題２：階層的 CA 制御の研究開発
複数 CA によるタスクの階層構造を利用した制御
当該年度は、単一の CA によるタスク構造を学習するモデルの構築を行い、マイルストーンは 100%達成した。図 1 が提案手法の概要図であり、タスク実行中に得られるロボットのセンサー情報 S を分節化し、類似したまとまりに分節化しタスクの構造を学習可能なモデルである。ただし、単に従来の分節化モデルを利用するだけではロボットから取得可能な高次元の情報を扱うことができない。そこで提案手法では Variational Autoencoder

1 / 3

図１を用いて、分節化しやすいよう圧縮しつつ、同時に分節化を行う。

学習モデル構築のためのフレームワークの開発
当該年度は、時系列の階層構造を学習可能なモデルの定式化を行い、マイルストーンは 100%達成した。図 2 が本研究課題で開発を目指しているモデ
(1)

(2)

(3)

ルである。このモデルでは、時系列データ𝑺𝑺を階層的に𝑧𝑧∗ , 𝑧𝑧∗ , 𝑧𝑧∗ , ⋯ と分節化することで、データに含まれる階層的な構造を教師なしで学習可能である。

ただし、このモデルは構造が複雑なため、単純には学習することができない。そこ

で、これまで課題推進者が開発を進めてきた近似的学習フレームワーク
Serket でこのモデルを学習可能とするため、隠れ変数を推論するための式を

図2

以下のように定式化した。
(𝑙𝑙+1)𝛼𝛼 (𝑙𝑙) [𝑗𝑗][𝑘𝑘][𝑙𝑙] = 𝑃𝑃 �𝑧𝑧 (𝑙𝑙) = 𝑧𝑧�𝑧𝑧̅𝑗𝑗 ′𝐾𝐾(𝑙𝑙−1)(𝑙𝑙+1)

この式では、𝑙𝑙 + 1層目で計算される確率𝑃𝑃 �𝑧𝑧 (𝑙𝑙) = 𝑧𝑧�𝑧𝑧̅𝑗𝑗 ′(𝑙𝑙+1)

なわち確率𝑃𝑃 �𝑧𝑧 (𝑙𝑙) = 𝑧𝑧�𝑧𝑧̅𝑗𝑗 ′𝑍𝑍� 𝑃𝑃 �𝑧𝑧𝑗𝑗−𝑘𝑘:𝑘𝑘 �𝑧𝑧 (𝑙𝑙) = 𝑧𝑧� � � 𝑃𝑃�𝑧𝑧 (𝑙𝑙) = 𝑧𝑧�𝑧𝑧 (𝑙𝑙) = 𝑧𝑧 ′ �𝛼𝛼 (𝑙𝑙) [𝑗𝑗 − 𝑘𝑘][𝑘𝑘′][𝑧𝑧′]𝑘𝑘 ′ =1 𝑧𝑧 ′ =1

�を利用して𝑙𝑙 層目の前向き確率𝛼𝛼 (𝑙𝑙) を計算することができる。す�をメッセージとして各層でやりとりすることで、従来の Serket のフレームワークで同様に扱うことが可能となる。音声を用いた予備実験によって、このモデルによって 2 階層の構造である文字と単語を学習可能であることが確認できた。

研究開発課題３：生活環境対話技術の研究開発
人機連携によるクロスモーダル自在対話の研究開発
家庭や病院等において CA が利用者の支援を行うにあたり、薬の手渡しや物理的補助時に衝突可能性がある動作など、人間による遠隔操作やモニタリングが、社会通念上求められるタスクが存在する。これらのタスクでは、動作の承認・緊急時の遠隔操作・モニタリング等をオペレータが行い、それ以外の状況では機械がタスクを遂行することが望ましい。この背景のもと、状況や確信度に応じて最適な人機連携が可能なクロスモーダル自在対話技術を構築する。本年度は、クロスモーダル自在対話モデル用学習データ収集手段を構築した。具体的には、家庭・病室環境等をサイバー空間上にリアルに再現したデジタルツインシミュレータ（DTS）を構築し、100 万枚を超える大規模画像データセットを収集した。さらに、言語データと非言語データを対応付けたマルチモーダルデータセットの構築に着手した。

複雑な自律連携タスクにおけるクロスモーダル自在対話の研究開発
環境中に複数の CA が存在する場合、利用者と対話しながら CA がタスクを最適に分担することが望ましい。本項目では、物理的状況・発話履歴・他 CA の状態に基づき、マルチステップの行動を計画するクロスモーダル自在対話技術を構築する。日用品を持ってくる等、社会受容されやすいタスクを対象とするとともに、自律性の高い複数の CA によるタスク連携を対象とする。本年度は、複雑な自律連携タスクにおいて、クロスモーダル自在対話を実現するための汎用的な事前学習手法を構築した。標準的な評価尺度を用いて評価を行い、相対タスク失敗率を 30%改善した。

研究開発課題４：生活物理支援 CA の研究開発
生活物理支援のための適応的自在プランニング・ナビゲーション
当該年度では現場環境での学習に基づくナビゲーションを実装した。具体的には場所概念学習のための SpCoSLAM を発2 / 3

展させたナビゲーション手法である SpCoNavi をソフトウェア環境において構築し、次年度以降で発展させていく適応的自在プランニング・ナビゲーションの準備を行った。また次年度以降の開発のために機械学習用の大規模計算機を導入した。

生活物理支援のための日常物体 CA 協調マニピュレーション
当該年度では日常物体 CA マニピュレーションの環境を構築することをマイルストーンとして、家庭環境や基本的なマニピュレーターの実験環境を整備した。具体的には大学の実験室において家庭環境を模した実験環境を構築すると共に、マニピュレーターの実験環境を構築した。

生活物理支援自在化フレームワーク開発と実証
当該年度では生活物理支援自在化フレームワークのプロトタイプ設計を行うことをマイルストーンとして、多種 CA や多種環境に関して効率的に CA システム開発するためのソフトウェア開発環境を整備し、プロトタイプの設計を行った。具体的にはコンテナ化技術を用い生活物理支援 CA のための分散型ミドルウェアを同一のローカルネットワーク環境高速に導入するための環境を構築した。

研究開発課題５：CA 触覚マニピュレーションの研究開発
触・近接覚センサに基づく自在操作技術の開発
CA が手を用いて環境や対象物とのインタラクションを知覚するための触覚・近接覚センサの開発、及び、同センサを用いた動作制御を行う手法の開発に関して、開発方針の検討とその制御構造のベースの検討を行った。
遠隔操作される CA に対する入力は、複数の階層的な指令値として与えられると考える。例えば、上位の指令には、操作者による手先位置・姿勢の目標値の指令、あるいは CA が所有する知識に基づき計画される動作軌道などが該当する。一方、下位の指令には、触覚・近接覚センサフィードバックによる対象物との接触・接近の状態から生成される動作指令などが該当する。このことから、CA による自在化マニピュレーションの制御構造として、上位の指令（あるいはその背景にある操作者の意図）に基づく目標値に可能な限り忠実に動作しながら、CA が直接知覚する触覚・近接覚センサ情報に応じて目標値の補正を行う制御構造の開発を進めることとした。ここで、触覚・近接覚は多くの情報を含むものであるため、センサフィードバックに基づく補正には、センサレベルの反射的動作生成を複数組み合わせる制御構造を用いた手法の開発を進める。これには、従来開発を進めてきた動作プリミティブの重ね合わせによる制御が応用可能である。
最もシンプルな構造の CA の手として、1 自由度の平行グリッパに触覚センサを付与した一次試作機を製作し、いくつかの触覚に基づく動作プリミティブを導入した半自律制御による物体把持の試験を進めた。

3 / 3