（革新）様式 1-4-2 (2022-1)

令和 4 年度研究開発成果概要書
採択番号
研究開発課題名
副題

00701
Beyond 5G を活用した安全かつ効率的なクラウドロボティクスの実現（１）研究開発の目的
人やロボットと安心して共存・協働できる安全性と既存ロボットを凌駕する作業効率を両立する
ロボット制御の実現に向け、2022 年度は、実世界に存在するあらゆるオブジェクトをデジタル化したデジタルツインを構築ならびに、デジタルツインを通じて実世界の分析、未来の予測を行い、その結果を活用し実世界のロボットへ指示を行う技術について、シミュレーション・実機実験を通して、有効性を確認する。
（２）研究開発期間
令和 3 年度から令和 5 年度（3 年間）（３）受託者
日本電気株式会社＜代表研究者＞
国立大学法人大阪大学（４）研究開発予算（契約額）
令和 3 年度から令和 4 年度までの総額 540 百万円（令和 4 年度 337 百万円）
※百万円未満切り上げ（５）研究開発項目と担当
研究開発項目１ 確率的時空間デジタルツイン構築の研究開発
１－ａ. 適応的３D センシング・転送技術（日本電気株式会社）
１－ｂ. 脳のマルチモーダル処理に倣うオブジェクト認識（大阪大学）
研究開発項目２ 確率的時空間デジタルツインを活用したロボット制御の研究開発
２－ａ. 確率的時空間デジタルツインに基づくエッジ／クラウド協調制御（大阪大学）
２－ｂ. リスクセンシティブロボット制御（日本電気株式会社）（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
350
7
1200

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道
展示会
受賞・表彰

（７）具体的な実施内容と成果
研究開発項目１ 確率的時空間デジタルツイン構築の研究開発
１－ａ. 適応的３D センシング・転送技術1

当該年度（件）34041200

適応的 3D センシングでは、２０２１年度に開発したセンシングロボットにより搬送ロボットの死角を効果的にセンシングするアルゴリズムを小規模な環境で実機を用いて評価した。3D センサを空間に敷き詰めた場合と比較し、データ転送量を 1/2 以下に削減できることを確認した。また、センシングロボットのセンサデータからリアルタイムに環境の変化（障害物等）を検出する変化検出技術を開発した。
3D データ圧縮送信技術では、圧縮送信時にノイズが発生したデプス画像と元画像とをディープラーニングによって学習し、圧縮ノイズを復元することで発生するデプスの誤差を約 1/3 に削減することができるノイズ復元手法を開発した。
適応的３D 転送技術では、3D 点群データに含まれるオブジェクトの形状の複雑さを判定し、複雑度に応じて、メッシュ品質に影響を与えない範囲で 3D 点群データの間引き量を変化させる方式を開発し、メッシュ品質低下抑制とデータ転送量 1/4 を両立できる技術を開発した。
学習データ収集・生成技術では、３次元空間内の物体位置や姿勢を認識するベンチマークタスクにおいて、少量（100 フレーム）のデータのみを使用した学習でも精度劣化を３％以下に抑える学習手法を開発した。
１－ｂ. 脳のマルチモーダル処理に倣うオブジェクト認識
２０２１年度までに構築した脳のマルチモーダル処理に倣ったオブジェクト認識方式の拡張を行った。条件付き確率場（CRF）を用いることで、複数のオブジェクトの認識結果が、既知の情報（例えば同じ種類の物体は１つしか存在しない）に対して整合性を持つよう認識される。２０２１
年度の手法で出力される、認識結果に対する確信度を CRF の入力とし、整合性を満たすような認識結果（オブジェクトラベル）を出力とする。この拡張により、４オブジェクトの映った公開データセットに対する認識率が、93.8%から 98%にまで向上できることを示した。一方で認識率が低下する状況もあり、前述の「同じ種類の物体は１つしか存在しない」という条件を与えることで、少なくとも一方は正解していたケースが、両方とも誤った結果となる場合である。同じカメラ映像を記録する端末と、エッジ端末およびクラウド端末を想定した機器上に実装し、カメラに映ったオブジェクトをクラウド上にデジタルツインとして表現（GUI 表示）するデモ環境を構築した。
研究開発項目２ 確率的時空間デジタルツインを活用したロボット制御の研究開発
２－ａ. 確率的時空間デジタルツインに基づくエッジ／クラウド協調制御
確率的時空間デジタルツインのアプリケーションとして、ロボットの周囲の移動する障害物位置の把握・予測方式の具体化を行った。本アプリケーションでは、ロボットが動作する環境下をセンシングしているセンサ情報を確率的時空間デジタルツインに反映し、将来の各地点の障害物の有無の予測に用いる。２０２２年度は、２０２１年度に行った本アプリケーションを対象としたエッジ／クラウド協調制御の方針に沿って、手法の具体化を行った。本手法では、エッジ側で各エッジが担当する狭い領域の状況について、確率的時空間モデルを構成・更新、クラウド側では複数のエッジが構築した確率的時空間モデルを束ね、広範囲の時空間確率モデルを構成・更新する。その際、クラウド側からエッジ側への情報は、各エッジが担当する領域の周囲に関する情報のみとし、エッジからクラウド側へは、以前エッジがクラウドに情報を送信した際に把握・予測された状況と現在の確率的時空間モデルの変化が閾値を超えた地点に関する情報に限定する。２０２２年度は、シミュレーションにより、本手法の評価を行い、エッジで構築したモデルの全情報を送出した場合と比べ、情報の送出が必要な地点の数を 80%以上削減できることを確認した。
２－ｂ. リスクセンシティブロボット制御
２０２１年度開発したリスクセンシティブ確率制御技術を実機の搬送ロボット制御システムへと実装するとともに、実機のダイナミクスならびに確率的外乱を表す確率微分方程式モデルを構築した。また、借り入れた実際の物流倉庫にて現場環境に近い実験環境を構築し、安全性と効率性に対するリスクに敏感な評価関数を設計した。さらに、ロボットの確率微分方程式モデルを解くことにより、前述の評価関数を最小化する制御入力をリアルタイムに算出する手法を開発した。実倉庫環境での実機実験を行い、所定経路を静的障害物(ラックや荷物)および動的障害物(歩行する作業者)を安全に回避しながら効率的に搬送できることを実証した。既存搬送ロボットと比較して 1.3倍以上の搬送効率を達成できることを確認した。
2

（8）今後の研究開発計画
研究開発項目１ 確率的時空間デジタルツイン構築の研究開発
１－ａ. 適応的３D センシング・転送技術
適応的 3D センシングでは、2022 年度より規模の大きい実倉庫環境においてセンサデータ量を 1/2 以下にできることを示す。３D データ圧縮送信では、圧縮ノイズの復元、除去技術により、圧縮率を 1/100 以上としながら、ノイズ復元後の誤差平均を現状の 1/3 から 1/5(約 5cm以下)に向上させる。適応的３D 転送技術では、メッシュ圧縮技術と組み合わせてデータ量を1/200 以下に削減できることを検証する。学習データ収集・生成技術では、屋内倉庫環境などの実環境において現状数人月以上必要な学習データ収集コストを 1/100（1 人日程度）に削減できることを実証する。
１－ｂ. 脳のマルチモーダル処理に倣うオブジェクト認識2022 年度は条件付き確率場（CRF）を用いることで、単一エッジにおけるオブジェクト認識手法を複数オブジェクト認識手法へと拡張した。提案した手法を、カメラ映像を記録する端末と、エッジ端末およびクラウド端末を想定した機器上に実装し、カメラに映ったオブジェクトをクラウド上にデジタルツインとして表現するデモ環境を構築した。今後は、ローカル 5G 無線通信システ
ムとの統合を行い、目標とする数値性能の達成を確認する。また、他のセンサーの利用、複数カメラ情報の統合により、認識精度の向上を図る。
研究開発項目２ 確率的時空間デジタルツインを活用したロボット制御の研究開発
２－ａ. 確率的時空間デジタルツインに基づくエッジ／クラウド協調制御
ロボットの周囲の移動する障害物位置の把握・予測を考え、方式を具体化するとともに、本手法でオフラインで予測した結果をロボット制御の入力として用いることにより、本手法がロボット制御においても有効であることを示してきた。ただし、リアルタイムに状況把握し、ロボット制御に生かす形で結合したシステムとしての実証実験は完了しておらず、2023 年度において、行う予定である。そして、実機を用いた実験を行い、提案手法の有効性を確認する。
２－ｂ. リスクセンシティブロボット制御
ロボットの確率微分方程式モデルをさらに高精度かつ高効率に同定する手法を開発し、より安全かつ効率に制御できるとともに、事前設計から搬送ロボットの導入までに必要な期間を短縮する。
また、安全性と効率性を定義するリスクセンシティブ評価関数の設計を現場環境に対してロバストにする。また、上記 2-a で開発した障害物移動予測技術と制御システム上で結合し、動的障害物の移動予測に基づいた搬送ロボットの移動制御を実現する。上記の開発を行い、搬送効率を既存搬送ロボットと比較して 1.5 倍以上に改善することを目指す。

3