2021年度 グループ 4 活動報告
研究開発項目 4︓CA 協調連携の研究開発

研究開発課題１：自在 CA 制御技術の基盤研究開発（１）自在 CA 制御技術の研究開発
一人が複数台の CA を遠隔操作することで、家庭や病室などの室内タスクを効率的に実行するための基盤要素技術を研究開発する。今年度は、前年度の CA 操作システムや学習システムの検討に基づき、システムの実装・評価実験を行った。具
体的には、一人で２台のモバイルマニピュレータを操作し、机の上の物体を片付けるタスクについて実験を設計し、実験結果を詳細に解析した。その結果、完全な遠隔操作に比べ半自律化した CA では画面の注視量が 25％以上削減できることが示された。

２５％以上の削減（２）自在 CA 制御プラットフォームの研究開発
複数台の CA（ロボット）を遠隔操作を交えて協調させるためには、CA のハードウェアとソフトウェアを、複数台の協調、遠隔操作、半自律化といったこれまで独立に考えられた来た視点を融合することで選定・開発する必要がある。本年度は、昨年
度 に 検 討 し た 複 数 台 ロ ボ ッ ト を制 御 す る 基 盤 シ ステム ソ フト ウェ アを 実 装 し 、ROScore Bridge とし て 公 開 し た 。
https://github.com/naka-lab/ros_roscore_bridge。

1 / 6

（３）インフラ整備と実証実験の実施
本研究開発課題を実施するためには、実際にタスクが想定する環境を構築する必要がある。また、開発を効率よく行うためには、この環境における開発作業をくまなく記録し、そのデータをすぐに生かせる仕組みづくりも重要である。さらには、研究開発
項目 5 で開発されるシステムのプロトコルを導入することを検討し、本開発環境を大規模な実証実験に結び付ける。最終的には、他の研究開発課題の成果を統合し、構築した環境でテストを継続的に行うと共に、2025 年に開催される大阪万博などで大規模な実証実験を実施することを目指す。今年度は、開発や実験を実施するための環境構築を完了した。構築した環境の様子を以下に示す。

課題推進者︓長井隆行（大阪大学）

研究開発課題２：階層的 CA 制御の研究開発（１）複数 CA によるタスクの階層構造を利用した制御ロボットプラットフォームを構築し、事前定義したタスク構造モデルを用い複数台の協調も含むモバイルマニピュレーションタスクにおいて、77%の成功率となった。当初は 1 台のロボットのみを使用することを想定していたが、複数台の制御のためのライブラリを開発し、3 台のロボットの協調も実現した。さらに、タスク構造を学習するためのモデルを構築し、論文誌へ投稿した。また階層的構造化モデルに関しても、投稿準備中である。以上のように、本課題においては当該年度のマイルストーン以上の成果を達成した。

（２）学習モデル構築のためのフレームワークの開発
前記（１）のタスクの構造化モデルを簡潔に記述するため、時系列の階層構造が扱えるような方法論を定式化し、フレームワークを開発した。開発したフレームワークにより、従来 120 行程度の記述が必要な処理を 30 行程度で記述可能となり、当該年度のマイルストーンは達成された。さらに、ロボットの制御ソフトウェア ROS との連携を視野に入れ、フレームワークの拡張と基礎的な検討を行った。
課題推進者︓中村友昭（電気通信大学）

研究開発課題３：生活環境対話技術の研究開発（１）人機連携によるクロスモーダル自在対話の実施
家庭や病院等において CA が利用者の支援を行うにあたり、薬の手渡しや物理的補助時に衝突可能性がある動作など、人間による遠隔操作やモニタリングが社会通念上求められるタスクが存在する。これらのタスクでは、動作の承認・緊急時の遠隔操作・モニタリング等をオペレータが行い、それ以外の状況では機械がタスクを遂行することが望ましい。この背景のもと、状況や
2 / 6

確信度に応じて最適な人機連携が可能なクロスモーダル自在対話技術を構築する。
本年度は、家庭環境をサイバー空間上にリアルに再現したデジタルツインシミュレータ（DTS）を構築するとともに、目標であった 100 万枚を超え、1000 万枚規模の大規模画像データセットを収集した。さらに、言語データと非言語データを対応付けたマルチモーダルデータセットの構築に着手した。

（２）複雑な自律連携タスクにおけるクロスモーダル自在対話の研究開発
環境中に複数の CA が存在する場合、利用者と対話しながら CA がタスクを最適に分担することが望ましい。本項目では、物理的状況・発話履歴・他 CA の状態に基づき、マルチステップの行動を計画するクロスモーダル自在対話技術を構築する。上記（１）と異なり、日用品を持ってくる等、社会受容されやすいタスクを対象とするとともに、自律性の高い複数の CA によるタスク連携を対象とする。
本年度は、家庭を模擬した DTS 上のクロスモーダル自在対話において、転移学習が可能な言語理解手法 Targetdependent UNITER を構築した。標準データセットを用いて評価を行い、相対タスク失敗率を 30%改善した。関連成果
は、IEEE Robotics and Automation Letters 誌および IROS に採択された。
課題推進者︓杉浦孔明（慶應義塾大学）

研究開発課題４：生活物理支援 CA の研究開発（１）生活物理支援のための適応的自在プランニング・ナビゲーション
生活環境において環境を学習し、常識的な事前学習知識と融合させながら、操作者の意図を理解してプランニングやナビゲーションを行い自在な生活物理支援を行うための人工知能およびロボティクス技術を開発することをこの研究項目の目的とし研究を行った。
当該年度では現場環境での学習に、事前学習もしくは常識的知識に基づく情報を融合させることで、新規環境導入時の学習を高速化させた。具体的には人間が常識的に有する知識を ProbLog と呼ばれる確率的論理プログラミング言語により表し、これから得られる推論結果を確率的に、場所概念モデルである SpCoSLAM による推論結果と融合させることで、新規環境で「物の置いてある場所」を高速に学習させることができることを示した。結果としてマイルストーンとしての 2 倍以上の高速化を達成した。この内容は RoboCup Japan Open 2021 @Home DSPL Technical Challenge において実装しデモンストレーションを行うことで準優勝の成果もおさめた。

（２）生活物理支援のための日常物体 CA 協調マニピュレーション
CA が生活環境や病室環境において生活物理支援を行うためには、置かれた物体を操作したり人に受け渡したりするのみならず、複数 CA の間で受け渡すプランニングとマニピュレーションを実現せねばならない。また、本プロジェクトが対象とする操作対象物体の種類は多様であり、また、それらが置かれる環境も多様であり、対象とする生活物理支援 CA の身体形状の種類も多様である。これらの多様性や新規環境における新規物体の存在にも対応できる適応的かつ協調的なマニピュレーション技術を開発するのが本項目の目的である。
当該年度では本グループが構築しているモバイルマニピュレータプラットフォームにおいて遠隔操作により物体把持を行う遠隔操作環境を構築し、操作者のログから把持点を学習するシステムを構築した。また生活物理支援 CA に物体認識を行わせ、そのカテゴリ情報をニューラルネットの条件情報として活用することで物体カテゴリ情報を活用させる方法を開発し、その有用性を検証した。結果としてマイルストーンである１０種類以上の既知物体と３種類以上の新規物体に対して物体把持を実現し、これを達成した。また研究開発課題５（鈴木）の近接覚センサをロボットハンドに導入し、機械学習と融合させたシステムを構築するための準備を行うと同時に、協働を開始した。
3 / 6

（３）生活物理支援自在化フレームワーク開発と実証
多様な CA を自在化するための知能開発を効率化する生活物理支援フレームワークを開発する。本プロジェクトにおいては単一の生活物理支援 CA を開発するのではなく、多様な CA が協調し連携することを前提とする。これは生活物理支援 CA を自在化する開発を、様々に異なる環境で行動する、様々に異なる身体性を持つ生活物理支援 CA において行わねばならないことを意味している。本研究項目では、この開発を効率化するために CA の生活物理支援自在化フレームワークを開発する。
当該年度では生活物理支援自在化フレームワークを利用した CA により、具体的な生活物理支援タスクを１つ以上実現することをマイルストーンとし、これを達成した。具体的には WRS2020 愛知大会(経済産業省、新エネルギー・産業技術総合
開 発 機 構 (NEDO) 、 新 型 コ ロ ナ ウ ィ ル ス の 影 響 で 2021 年 9 月 9 日 （ 木 ） ～ 12 日 （ 日 ） に 実 施 、
https://wrs.nedo.go.jp/aichi/)のサービスカテゴリー「フューチャーコンビニエンスストアチャレンジ」で定義されたタスク群に適用し、これらのタスクを達成し総合優勝(経済産業大臣賞)を始めとする四つの賞を受賞した。
また研究開発課題２（中村）と連携し確率的生成モデルに基づきロボットの知能化を促進する SERKET を生活物理支援自在化フレームワークに内包させていく共同研究を開始し、初期的な検討を進めた。
課題推進者︓谷口忠大（立命館大学）

研究開発課題５：CA 触覚マニピュレーションの研究開発（１）触・近接覚センサに基づく自在操作技術の開発
前年度に製作した第 1 段階の触覚センサ搭載グリッパに引き続き、第 1 段階の近接覚センサ搭載ロボットハンドを製作した。本ハンドは、既成のハーモニック・ドライブ・システムズ社の指ユニットを用いて構成されたものであり、本開発においては、その指先部品として専用設計の近接覚センサを搭載した。構造的な工夫として、各指先から広範囲の近接領域を検出するための球冠状の指先形状に内蔵可能とし、さらに透明樹脂による被膜を行うことで、防水性と耐久性を確保するとともに、ゼロ距離まで検出可能な（すなわち触覚機能を内包した）近接覚センサとした。
また、新規技術として、近接状態にある対象物との位置・姿勢のリアルタイム測定に基づいて、把持を実行した場合の力学的な安定性を予測する手法を開発した。これまで、遠隔操作者にとって CA のハンドと対象物の位置関係がわかりにくい場合であっても、近接覚センサに基づく補正動作によって意図せぬ衝突を回避することはできた。今回の手法によって、以上に加えて、対象物とハンドの位置関係が把持に適したタイミングで自ずと把持が実行されるようにすることができるようになった。
評価実験として、遠隔操作を簡易的に再現した環境において、被験者がコントロールパッドでハンドを制御して物体把持を行う実験を行った。ハンドや把持対象物を直接視認できる条件では、近接覚センサ情報に基づく補助によってタスク所要時間が約17%削減された。一方、CA の頭部および手首に搭載したカメラ画像のみを見て操作しなければならない条件では、近接覚セン
サ情報に基づく補助はタスク所要時間を約 48%削減した。今後、被験者を増やして詳細な評価を行う予定である。
このほか、研究開発項目４の他の研究開発課題に対して CA プラットフォーム用の近接覚センサの提案や提供を行い、連携開発を進めた。
課題推進者︓鈴木陽介（金沢大学）

4 / 6

研究開発課題 6：侵襲型 BMI による CA 制御の研究開発（１）侵襲型 BMI による CA 制御の研究開発
令和 3 年度は課題推進者の平田らがこれまでに開発してきた侵襲型 BMI システムを用いて CA を操作する方法の開発を進めた。
侵襲型 BMI を用いたアバター遠隔操作の基本設計に関しては、基本設計コンセプトとして侵襲 BMI で随意制御を行い、CAで自律制御を行い、両者を調和制御することで総合性能を向上させることとした。BMI による制御は人間の脳活動で CA を直接制御するため、随意的ではあるが、手の姿位など微細な制御には不利である。一方、CA 側での自律制御は微細な自動制御には有利であるが、自律的であるがために随意性に欠ける面がある。人間の脳活動による BMI 制御と CA の環境認識による自律制御を調和させ、両者の利点を活かして、欠点を相補うことにより、全体として高い性能と自然な操作感の両立を目指すこととした。BMI と CA の調和制御を下記の式で表現することとした。
𝒗𝒗𝑐𝑐𝑐𝑐𝑐𝑐 = 𝒘𝒘𝑝𝑝 × 𝒗𝒗𝑝𝑝 + (1 − 𝒘𝒘𝑝𝑝 ) × 𝒗𝒗𝑎𝑎

評価関数(性能、操作感) ⇒ max
𝒗𝒗𝑐𝑐𝑐𝑐𝑐𝑐 ︓調和制御出力
𝒘𝒘𝑝𝑝 ︓重み

𝒗𝒗𝑝𝑝 ︓BMI による随意制御出力 𝒗𝒗𝑎𝑎 ︓CA による自律制御出力

CA の上肢機能（操作）に関しては、すでに保有する多関節ロボットアームをロボット制御開発環境 ROS 上に構築した逆運動学により速度制御することとした。この際、BMI 随意制御には、サポートベクター回帰にて頭蓋内脳波から推定された手関節位置の速度を用いることとした。また CA による自律制御では、3 次元物体自動認識により認識し対象物とその位置を目標として速度制御することとした。3 次元物体自動認識は、2 次元動画像から物体をリアルタイムで自動認識するシステム（YOLOv4）と depth camera （Real Sense 435)の位置情報を ROS 上で統合することにより実現する計画とした。この 3 次元
物体自動認識にもとづいて認識した対象物を、ロボットハンドにより把持・把持解除するためには、ロボットハンドの姿勢を微細に制御する必要があり、これを CA により自律制御する方針とした。CA の下肢機能（移動）に関しては、同じ研究開発課題１（長井）と連携し、上記の調和制御を基本コンセプトとして開発する方針とした。
CA の仕様策定に関しては、このコンセプトのもと、CA の仕様として、サイバー空間上の CA と実空間上 CA を想定し、ロボット制御開発環境 ROS に上肢 CA のモデルを実装した。サイバー空間上の CA に関しては、他の研究開発項目で開発されているものを活用する方針とした、実空間上 CA としては、当面、現有するロボットアームで開発を ROS 上で進めるとともに、研究開発課題１（長井）と連携して HSR 等の全身型 CA を導入する方針とした。
ROS への CA モデル実装に関しては、先述の方針のもと、ROS に上肢 CA モデルの実装を進めた。まず、保有する多関節ロボットアームを逆運動学により速度制御するシステムを ROS 上に実装した。BMI 随意制御には、サポートベクター回帰にて頭蓋内脳波から推定された手関節位置の速度を用いた。また CA による自律制御では、3 次元物体自動認識により認識し対象物とその位置を目標として速度制御する方式を実装した。3 次元物体自動認識は、2 次元物体リアルタイム自動認識システム
YOLO v4 と depth camera （Real Sense 435)の位置情報を ROS 上で統合して認識するシステムを開発し、実装した。さらに、対象物の認識結果にもとづいて、ロボットハンドの姿勢を微細に自律制御して、対象物を把持、移動、把持解除できることを実証した（下図）。頭蓋内脳波から CA の速度を推定するには、脳波のフィルタ処理に必要な区間の関係上、56msを要するが、本調和制御の処理全体に要した時間は 3.2ms とリアルタイムに制御できることを実証した。CA の下肢機能（移動）に関しては、研究開発課題１（長井）と連携し、調和制御を基本コンセプトとして開発を進めた。HSR を ROS 上で目標地点まで調和制御する方法を開発し、これを筋電信号で随意制御できることを実証した。

5 / 6

3 次元物体認識システムに関しては、これまでは物体にタグを張付して認識させる方式を採用していたが、新たに YOLO を導入することにより、タグなしで物体をリアルタイムに正確に認識できるようになり、汎用性を向上でき、当初目標を上回る成果を達成できた。
課題推進者︓平田雅之（大阪大学）

6 / 6