産学連携ロボット研究開発支援事業

第8回会津大学ロボットシンポジウム研究発表• RDR(ロボット データ リポジトリ)• 物体認識システム、マルチ監視カメラシステム• 地図マネージャー

2022年度 研究開発
ロボットが取得形成した推定位置や地図情報、シミュレータ上での経路や所要時間等のデータを格納する、ロボット データ リポジトリ (Robot Data Repository：RDR)について、異種複数のロボットからのデータを統合管理し、RDRを介してこれらのデータを他のロボットと共有することにより、より高精度のロボット自律移動を実現するためのCyber-Physical-System(CPS)の研究開発を行う。

目標：Cyber-Physical SystemとIoRTシステムの開発
事例：LICTiA※のスマートビルディング化
実空間(LICTiA)のロボット/監視カメラと仮想空間の連携により、実空間でのロボット自律移動を検証※会津大学先端ICTラボ(Laboratory for leading-edge ICT in Aizu)の略称＜2022年度の開発項目＞
・監視カメラ（RGB/RGBD/QR）による物体認識・位置推定の拡張（物理ビル）
・監視カメラによる２次元地図更新（物理ビル）
・RDR・通信モデル・マネージャ拡張（システム）
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

1

RDR開発2022年度の研究開発スコープ
2021年度までに開発したRDRをベースに、これに対する以下の機能拡張を実施する。
また、2021年度までに開発した機能の検証も併せて実施する。

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

2

RDR(ロボットデータ リポジトリ)
異種複数ロボットの内界データ、外界データ(※)をクラウド環境上に配置された共有のDBに蓄積し、そのデータが利用できる環境を提供※内界データ：ロボットの関節角度や速度等のデータ
外界データ：ロボットで取得したイメージ、点群、動画等

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

3

物体認識システム、マルチ監視カメラシステム
ロボットの経路計画支援• 初期起動時に認識したロボットの推定位置を提供• レイアウト(ARマーカーを設置したテーブル)を監視し、変化検知
時に地図マネージャーに地図更新を依頼

マルチ監視カメラシステム• ４台のIPカメラでの動画撮影・管理

物体認識システム• マルチ監視カメラシステムで捉えた映像を基に動的(ロボット・人)・準静的物体(テーブル・椅子)を認識• YOLOv4というアルゴリズムを使用

物体認識システムで検知した動的・準静的物体

ARマーカー：デジタルコンテンツを表示させる目印などに利用される画像

カメラ原点

レイアウト監視3
124

物体認識システムで監視しているレイアウト(テーブル)
IPカメラ設置＠会津大学LICTiA 1F

マルチ監視カメラシステム
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

4

地図マネージャー
ロボットが使用する経路計画の地図を管理• 最新地図情報の定期的な通知• レイヤ地図※に物体認識で変更を検出したレイアウト位置を配置し、ロボットが局所経路計画に使用する地図(環境地図)を生成やレイヤ地図の更新を実施※レイヤ地図：レーザセンサー(LiDAR)で観測した障害物の種類毎にレイヤ分けした地図

静的レイヤ地図

更新した
テーブル

テーブル

統合

進入禁止区域
レイヤ地図
テーブルの脚レイアウト
情報を反映更新された進入禁止区域レイヤ地図

統合した環境地図

更新した
テーブルの脚

物体認識で検出した
レイアウトデータ
準静的レイヤ地図

更新された
準静的レイヤ地図

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

5

RDR開発 ~各ロボットの連携概要~【搬送ロボットとの連携】~日本アドシス~【仮想環境上のロボットとの連携】~FSK~◆安全・効率なナビゲーション実現に向けて、実環境を反映した最新の地図情報、ロボット初期位置のキャリブレーション機能を提供◆走行データを蓄積し、実ロボットとの位置比較等に利用

搬送ロボット【日本アドシス】

RDR

地図提供

搬送ロボット(シミュレーション)

レイヤ地図【災害対応ロボットとの連携】~アイザック、福島コンピューターシステム~
実環境を反映した最新の地図(環境地図)の生成・管理◆Giraffe、Spider2020の走行ログを蓄積◆上記を基にシミュレータ(Choreonoid)上で挙動を確認[Spider2020のみ]

シミュレータ【福島コンピューターシステム】

マルチ監視カメラシステム
物体認識システム【東日本計算センター】

走行ログ
投入

ロボット
推定位置

各種地図、推定データ等の蓄積

Giraffe

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

Spider2020

イメージ図

6

仮想空間上のロボットとの連携
RDRへのデータ蓄積・蓄積したデータの配信◆ 移動中のロボット(仮想空間のTurtleBot3)自身が算出した推定自己位置(x,y,θ)データをリアルタイムで蓄積する◆ 蓄積したデータは実ロボットとの位置比較等に利活用が期待できるロボット現在状態取得

シミュレーター

RDRサーバ
【当社】

【FSK】
結果

MQTTサーバ【当社】
ロボット
現在状態通知MQTTサーバ：IoTシステム構築に利用されることが多い軽量な通信プロトコル「MQTT」にて、メッセージの送受信の仲介役を担う
サーバ

ロボット
現在状態通知LICTiAクラウド

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

7災害対応ロボットとの連携
RDRへのデータ蓄積・蓄積したデータの配信◆ 走行データをオフラインでRDRに蓄積(来年度以降はオンライン)[Spider2020のみ]◆ 走行ログを基にシミュレータ(Choreonoid)上で挙動を確認

シミュレータ【福島コンピューターシステム】

GiraffeSpider2020

RDRサーバ【当社】【アイザック】
走行ログ入手走行ログ投入(オフライン)

Spider2020
走行ログ提供(オフライン)

LICTiAクラウド

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

走行ログ投入イメージ図

8

搬送ロボットとの連携 ~定期的なデータ蓄積~
RDRへのデータ蓄積・蓄積したデータの配信◆ 定期的に以下のデータを蓄積する• ロボットの各種状態• 局所経路• 3次元点群データ New◆ 新たに蓄積した3次元点群データについては、地図生成等で利活用する
搬送ロボットMQTTサーバ【当社】【日本アドシス】

RDRサーバ【当社】
ロボット各種状態、局所経路、3次元点群データ

ロボット各種状態、局所経路、3次元点群データ

LICTiAクラウド

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

9

ロボット位置の精度向上とシステムへの適用
ロボットが経路計画の初期起動時にマルチ監視カメラ及び物体認識システムで捉えたロボットの推定位置情報を提供し、経路プランナーからの経路計画指示に従いロボットが走行することを検証

搬送ロボットRDRサーバ【当社】【日本アドシス】
ロボット推定位置取得要求
ロボット推定位置

マルチ監視カメラシステム【当社】

物体認識システム【当社】
カメラ画像データ

ロボット推定位置

MQTTサーバ【当社】
ロボット推定位置

蓄積

DB

LICTiA 1F

ロボット
推定位置

LICTiAクラウド

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

10

搬送ロボット/経路プランナーとの連携: 合同検証(1)••

ロボットに物体認識システムが検知した位置情報を提供
物体認識システムから提供された位置情報でロボット位置を初期化し、経路プランナーから要求された経路を走行【検証結果概要】• ロボットの位置情報を提供することができたが、ロボットの形状が変更された
ため、ロボットの認識率と位置情報提供率が低下• ロボット位置推定の差異は50cm程度、ロボット側としては許容範囲内• 差異の原因として、物体認識でロボットの検出範囲に誤差が生じており位置がずれてしまうロボット
カメラ2 ・・・

カメラ1

カメラ2

カメラ3

カメラ4

ロボット走行の様子

ロボット
カメラ3 ・・・

ロボットの走行軌跡と物体認識システムが検知したロボットの推定位置情報の位置
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

11

地図統合に関する実装及び検証
物体認識システムで検出した準静的物体の位置が更新された際に位置情報を反映した地図(環境地図)を生成しRDRに蓄積、環境地図情報をロボット、経路プランナーに通知することを検証
地図格納要求搬送ロボット【日本アドシス】
格納結果

RDRサーバ【当社】

地図取得要求取得結果(地図データ)

ロボット
経路プランナー【日本アドシス】

準静的物体の推定位置/地図データ

地図マネージャー【当社】

MQTTサーバ【当社】
地図更新通知地図更新通知

物体認識システム【当社】

マルチ監視カメラシステム【当社】
カメラ画像データ

LICTiA 1F

環境地図

地図データに準静的物体を配置

準静的物体の推定位置

地図データ

LICTiAクラウド
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

12

搬送ロボット/経路プランナーとの連携: 合同検証(2)••生成した環境地図を用いてのナビゲーション(ARマーカーによる)レイアウト変化検知後に環境地図を生成し、搬送ロボット/経路プランナーに通知【検証結果概要】• 環境地図の生成/通知、レイアウト変更後の環境地図の生成/通知ができた• 環境地図を使用し、ロボットをナビゲーションすることができた• プランナー側で環境地図からグラフ(経路計画用)地図を生成し、RDRに蓄積することができた
更新

環境地図(左:テーブルのレイアウト変更前

右:テーブルレイアウト変更後)更新されたロボットで使用されるレイヤ地図(左:準静的レイヤ地図 右:侵入禁止区域レイヤ地図)

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

13

CPS研究開発まとめ(1) ~ RDR ~データ蓄積/配信において、各システムとの連携が確立できた➢ 搬送ロボットとの連携• 搬送ロボットが配信した点群データをRDRに蓄積• 搬送ロボットからの地図格納要求により、各種地図をRDRに蓄積• 搬送ロボットからの地図取得要求により、条件に合致した地図をRDRから要求元に出力①レイヤ地図登録• 最新の地図に関する情報をRDRから配信①レイヤ地図登録
搬送ロボット
搬送ロボット【日本アドシス】➢ 仮想環境上のロボットとの連携• ロボットが配信した現在状態情報をRDRに蓄積➢ 災害対応ロボットとの連携• Giraffe、Spider2020の走行ログをRDRに蓄積⑨レイヤ地図取得⑨レイヤ地図取得

RDRサーバ【当社】⑧レイヤ地図⑧レイヤ地図
取得指示
取得指示

ロボット
経路プランナー【日本アドシス】

④環境地図
④環境地図
登録
登録

MQTTサーバ【当社】

物体認識システム【当社】

マルチ監視カメラシステム【当社】②準静的物体②準静的物体の推定位置/の推定位置/
地図データ
地図データ
取得
取得

地図マネージャー【当社】
環境地図生成③環境地図生成

カメラ画像データ
カメラ画像データ

LICTiA 1F

LICTiAクラウド

Copyright© 2023 East Japan Accounting Center Co.,Ltd.

準静的物体
準静的物体の推定位置の推定位置

地図データ
データ

14

CPS研究開発まとめ(2)~ロボット位置の精度向上とシステムへの適用~
合同検証において、機能の実現および課題の抽出をすることができた
ロボット位置の精度向上• カメラキャリブレーションを実施し、ロボット位置の精度が向上することを確認• 物体認識システムの処理速度改善を実施し、処理速度が向上することを確認

カメラ4のロボット位置平均誤差比較

物体認識システムの処理改善状況

処理速度
[sec]

x[m]

y[m]

2021年度

3.775

0.950

2021年度

152022年度

0.2200.870

2022年度

1

カメラ4のロボット推定位置(左：2021年度、右：2022年度)

課題
ロボットの形状変更による認知率の低下

ロボット推定位置の誤差• 新しい形状のロボットを使用した学習済みモデルの作成• 物体認識システムの座標系からロボットの座標系に変換する補正値を各カメラごとに最適化• ロボットの位置推定にARマーカーを利用• 物体認識システムで検出したロボットのバウンディングボック
ス内を画像特徴量で解析し、ロボットの位置や向き等を推定
搬送ロボット(左：変更前(2021年度) 右：変更後(2022年度))
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

15CPS研究開発まとめ(3) ~地図統合に関する実装及び検証~
合同検証において、地図の統合、ロボット/経路プランナーへ地図の配信および統合した地図を使用したロボットの走行ができることを確認できた2021年度の検証と2022年度に作成した環境地図のテーブル位置の精度を比較
2021年度は検出したものの実際の位置との乖離が大きいが、2022年度はARマーカーを利用することで検出精度が向上した

2021年度：地図に反映したテーブル位置

2022年度：統合した地図

課題• 赤丸枠のテーブルは、ARマーカーがカメラに1つしか映りこまないため、カメラ位置の見直しが必要と考える• レイアウトの変更を検出する頻度が15～30分で実施しており、位置の変更頻度が高い椅子などを配置するには地図の変更頻度が遅い• ロボットが作成した地図の原点と物体認識システムが持つ原点の補正を手動で行っているため、地図が更新されると原点がずれてしまう
Copyright© 2023 East Japan Accounting Center Co.,Ltd.

16