産学連携ロボット研究開発支援事業

第7回会津大学ロボットシンポジウム研究発表
・RDR(ロボット データ リポジトリ)・物体認識システム、マルチ監視カメラシステム

2022/6/10(金)公立大学法人 会津大学
株式会社 東日本計算センター

RDR (ロボットデータリポジトリ)
実機のロボットが取得形成した推定位置や地図情報、シミュレータ上での経路や所要時間等をRobot Data Repository (RDR)上で統合し、実機やシミュレータの動きに反映させることで、精度の高いロボット自律移動を実現するためのCyber Physical System(CPS)の研究開発を行う

Copyright© 2022 East Japan Accounting Center Co.,Ltd.

1

物体認識システム、マルチ監視カメラシステム
目的ロボットの経路計画する際の自己位置や物体の位置情報を認識し、その情報をロボットに提供
両システムとも、2020年度から研究開発・構築

カメラ原点

マルチ監視カメラシステム◆ ４台のIPカメラでの動画撮影・管理はNxWitness

3

物体認識システム◆ マルチ監視カメラシステムで捉えた映像を基に、動的(ロボット・人)・準静的物体(テーブル・椅子)を認識◆ アルゴリズムはYOLOv4

1 24

IPカメラ設置＠会津大学LICTiA 1F

映像読込

マルチ監視カメラシステム

物体認識

物体認識システムで検知した動的・準静的物体
Copyright© 2022 East Japan Accounting Center Co.,Ltd.

2

データ蓄積・配信 ～会津大学、(株)日本アドシスとの連携～
自律搬送ロボット

物体認識システム、マルチ監視カメラシステム◆ 移動中の搬送ロボットの推定位置等のデータを定期的にRDRに蓄積◆ 搬送ロボットが生成した2次元格子地図をRDRに蓄積◆ 最新の地図に関する情報をRDRから通知◆ 動的・準静的物体の推定位置データを定期的にRDRに蓄積◆ マルチ監視カメラにて取得した画像から準静的物体のレイアウトを定期的にモニタリングし、模様替え、配置変化を検出したデータをRDRに蓄積

自律搬送ロボット【日本アドシス】

Web API(地図格納要求、地図取得要求)

結果

MQTT
メッセージングサーバ【会津大学】

RDRサーバ【当社】
ロボット各種状態、局所経路
地図更新

マルチ監視カメラシステム【当社】 Web API
IPカメラ

Nx Witness
サーバ(画像取得要求)

Web API(画像格納要求)

結果

LICTiA 1F

物体の推定位置物体認識システム【当社】

結果

ロボット工学研究室

LICTiAクラウド

Copyright© 2022 East Japan Accounting Center Co.,Ltd.

3

自律搬送ロボットとの連携: 合同検証(1)•

同時系列において、物体認識システムで検知したロボットの位置推定情報と実ロボットの自己位置推定情報をRDRに蓄積し、それらの差異を確認【検証結果】
ロボット位置推定の差異は1m以内だが、一部のIPカメラで誤認識有り→調整(カメラキャリブレーション等)で認識精度改善が見込まれる

カメラ1

カメラ2

カメラ3

カメラ4

★: 走行開始/終了地点●: IPカメラで捉えた位置推定情報●: ロボット走行位置推定情報(往路)●: 〃(復路)★

○: カメラ4でのロボット位置検出ずれ○: 誤認識各IPカメラで撮影した動画をもとに作成したロボット位置とロボットの自己位置
4
Copyright© 2022 East Japan Accounting Center Co.,Ltd.

全IPカメラで検知したロボット位置とロボットの自己位置の差異調査結果

自律搬送ロボットとの連携: 合同検証(2)•

自律搬送ロボットが生成した2次元格子地図から準静的物体(テーブル)を認識する【検証結果】
画像マッチング(テンプレートマッチング)でテーブルを認識できたが、テーブルの輪郭以外の箇所がテンプレート画像と異なる部分があると類似度が低下する→低い類似度でマッチング検出した領域の内部を塗りつぶし、高い類似度でマッチング検出を実施することで輪郭のみでマッチングするかと思われる【正方形テーブル】【正方形テーブル】

角度をもたせたテーブルも認識ロボットが生成した2次元格子地図【長方形テーブル】【長方形テーブル】

誤認識

角度をもたせたテーブルも認識

テーブルのマッチング画像(正方形、長方形)

類似度0.65でのテーブル探索結果

Copyright© 2022 East Japan Accounting Center Co.,Ltd.

類似度0.60でのテーブル探索結果

5

自律搬送ロボットとの連携: 合同検証(3)•(2)で探索した2次元格子地図テーブル位置とIPカメラで撮影した映像をもとに算出した準静的物体の位置の比較および統合【検証結果】• テーブルの半面分の距離以内でレイアウトを変更すると検知されないため、閾値の調整が必要• 認識されない準静的物体があることから識別器の精度を向上させ、すべての準静的物体の位置の把握が必要• 物体認識で検知したバウンディングボックス内から準静的物体の画像特徴量を解析し正確な位置を特定することやLiDARなどの他の外部センサーとIPカメラを組み合わせ、準静的物体の位置を算出することで精度改善が見込まれる●: 椅子を検知■: 地図上のテーブル内に位置✕: IPカメラで検出されたテーブルの位置

y[px]

x[px]

IPカメラ1の準静的物体と2次元格子地図の統合結果

IPカメラ2の準静的物体と2次元格子地図の統合結果✕: IPカメラで検出されたテーブルの位置

テーブル位置が地図上のテーブルと離れているため別テーブルと判断
要カメラキャリブレーション

IPカメラ4の準静的物体と2次元格子地図の統合結果
IPカメラ3の準静的物体と2次元格子地図の統合結果
Copyright© 2022 East Japan Accounting Center Co.,Ltd.

6

CPS研究開発まとめ ~ RDR ~データ蓄積/配信において、各システムとの連携が確立できた➢ 自律搬送ロボットとの連携• 自律搬送ロボットが配信した位置推定情報や2次元格子地図等をRDRに蓄積• 自律搬送ロボットからの地図格納要求により、2次元格子地図をRDRに蓄積• 自律搬送ロボットからの地図取得要求により、条件に合致した地図をRDRから要求元に出力• 最新の地図に関する情報をRDRから配信➢ 物体認識システムとの連携• 動的・準静的物体の推定位置データを定期的にRDRに蓄積• データ蓄積・更新周期についてはユー
スケース次第では要改善検討

Web API(地図格納要求、地図取得要求)

自律搬送ロボット

結果

MQTT
メッセージングサーバ

RDRサーバロボット各種状態、局所経路
地図更新

物体の推定位置物体認識システム
Web API(画像格納要求)結果

Copyright© 2022 East Japan Accounting Center Co.,Ltd.

7

CPS研究開発まとめ ~ 物体認識システム/マルチ監視カメラシステム ~以下の検証において、実現ならびに課題抽出(マルチ監視カメラによる物体認識・位置推定等の精度向上)ができた
課題については、調整(カメラキャリブレーション等)で精度改善が見込まれる➢ RDRに蓄積したロボットの位置推定情報と実ロボットの自己位置推定情報の差異を確認➢ 2次元格子地図から準静的物体(テーブル)を認識➢ 探索した2次元格子地図テーブル位置とIPカメラによる撮影映像をもとに算出した準静的物体の位置の比較および統合★

★: 走行開始/終了地点●: IPカメラで捉えた位置推定情報●: ロボット走行位置推定情報(往路)●: 〃(復路)○: 位置誤認識■: テーブル認識Copyright© 2022 East Japan Accounting Center Co.,Ltd.

8