極限環境へ適用可能なロボット技術研究2021
会津大学

コンピュータ理工学部
山田竜平

研究目的
災害・事故現場や月惑星等の人間が活動するのに困難な極限環境においては、ロボット技術の利用が必要不可欠である。
極限環境に適用可能なロボット技術についての研究、開発を実施している。
（極限環境の例）

台風による土砂崩落現場

月表面（嫦娥3号搭載ローバによる撮影）

極限環境における問題点〇走行困難、危険を伴う不整地

活火山領域〇認識できる特徴点の少なさ〇不整備な通信環境

Robot〇滞在困難な環境(極高温・低温、真空、高圧、放射能等)

月表面

福島第一原発建屋内

極限環境はロボットの活動に対しても困難な環境

3

極限環境用ロボットへの要求〇不整地や特徴点の少ない環境における正確な地図生成
極限環境で予測される不整地等においてロボットが周辺環境認識や自律移動に適用可能な高精度・高解像度の地図を生成する技術〇通信困難域におけるロボットの遠隔自律作業
通信が困難な極限環境域において人が近づくことなく、遠隔地からの操作でロボットが自律的に移動・作業する技術〇不整地の走破能力
起伏の激しい不整地を円滑に移動するためのロボットの走破能力、移動機構〇耐環境性
探査環境下（例えば極高温or低温)でロボットが所定の性能を発揮できるだけの耐環境性
現在は地図生成と遠隔制御の研究を進めている。

2021年度における実施事項〇地図生成研究・高精度な3次元地図生成を行うSLAM技術の検証
・カメラ-LIDARキャリブレーション手法と対応させたデータフュージョン地図の生成精度評価
・福島ロボットテストフィールドの不整地環境を使用した検証試験〇遠隔制御研究・遠隔地のロボットとデータ通信を行うための通信システムの開発
・ロボットデータベースとの接続機能の検証
・会津-南相馬間を接続しての遠隔自律移動の検証・性能評価試験

3次元地図生成研究

3次元地図生成研究用ロボット
3次元LIDAR、カメラ、IMU(Inertial Measurement Unit)を搭載した台車ロボットを開発〇人力による台車の移動とマッピング機能〇搭載センサーと制御用PCは搭載バッテリーにより駆動〇台車の移動中にセンサーデータをタイムスタンプ供に取得可能
3次元地図生成用台車ロボット

7

不整地エリアでの検証試験
福島ロボットテストフィールド(RTF)の不整地エリアで台車ロボットによるデータ取得と3次元LIDARデータ、カメラ画像を使用した3次元地図生成を実行
SLAM(Simultaneous Localization and Mapping)
アルゴリズムによる3次元地図生成

土砂倒木エリアでのマッピング

土砂傾斜エリアでのマッピング

2020年度時点での3次元地図生成結果
LIDAR-SLAMアルゴリムの一つであるLOAM[Zhang and Singh,2014]
による地図生成
土砂倒木エリアにおける3次元データフュージョン地図生成結果

不整地での地図がうまく閉じず、また倒木や落石等の物体の復元が困難
LOAMでは地図閉じ込み機能やフィルタ機能がないため、得られる地図の精度が不十分

LIO-SAM(Tightly-coupled Lidar Inertial Odometry via
Smoothing and Mapping)

Flamework of LIO-SAM [Shan et al., 2020]

・IMU(Inertial Measurement Unit) データの使用
・ループクロージング機能
・Voxelフィルターによるスムージング

新しいLIDAR-SLAMアルゴリズムを適用(LOAM→LIO-SAM）する
事により地図生成精度の向上を図る。
10

室内環境での検証(3次元)
室内で取得した3-D LIDARデータからLOAMとLIO-SAMで3次元地図を生成して比較
LOAM

LIO-SAM会津大RTFオフィス内3次元地図(LOAM)

会津大RTFオフィス内3次元地図(LIO-SAM)

LOAMで作った地図は上下にずれノイジーであるが、LIO-SAMで生成した地図はうまく閉じてよりクリアに物体が認識可室内環境での検証(2次元)
各3次元SLAMアルゴリズムで構築した地図を自律移動に適用できる2次元マップに変換@RTF会津大オフィス
LIO-SAM
LOAM

明らかに正確でクリアーな2次元地図をLIO-SAMにより生成する事が可能

LIDAR-カメラキャリブレーション (1)LIDAR3次元点群地図に同時取得したカメラ画像からRGB情報を与えたデータフュージョン地図を作るためLIDAR-カメラキャリブレーションを実施。
LIDARとカメラで同時測定したキャリブレーション体を両データ間でマッチングさせる事で投影パラメータ（カメラ外部パラメータ）を取得する。

3-D LIDAR

Simultaneous
MeasurementsStereocamera

Calibration objects(board)

13

LIDAR-カメラキャリブレーション(2)本研究では、キャリブレーション体として大円と小円が空いた赤色のキャリブレーションボードを用意。
[Velas et al.,2014, Cuong, 2017, Mamiya, 2017,
Yamada and Yaguchi, 2020]

カメラ画像上でのキャリブレーション
ボード

LIDAR点群上のキャリブレーション
ボード

カメラ画像上の大円・小円とカメラ画像に投影させたLIDAR点群の大円・小円を合わせるようにカメラ外部パラメータの14決定を行う。

キャリブレーション体の数と配置の重要性
Yamada and Yaguchi (2020)では複数枚のボードを使用する事で、高精度なデータフュージョンを実現可能な事を定量的に示した。
Yamada and Yaguchi (2021)では、複数枚のボードの配置を様々な距離に配置する事が重要である事を示した。

3枚ボードの配置例[Yamada and Yaguchi, 2021]

データフュージョンと評価
赤色の立方体(1辺50cm)のBoxをタワーにして並べて、3次元点群地図上でのBoxのサイズと赤色の復元率を(A)-(C)、各々のキャリブレーションパターンで求めたカメラ外部パラメータを使用して評価した。

福島ロボットテストフィールド(RTF)の中庭に並べたBox-Tower

台車のルートデータフュージョン地図
Box-Towersの3次元色付き点群地図

各LIDAR点群フレームにRGB値を付与して、再現した全体の3次元点群地図 (キャリブレーションパターン (C)を使用)
使用SLAMアルゴリズム: LIO-SAM

キャリブレーションパターンによる復元精度の差異(1)キャリブレーションパターンによる復元精度の差異(2)
Boxの赤色復元率

Boxサイズの復元精度〇複数枚ボードを様々な距離で並べることで80～90%の色復元率を達成〇レーザスキャンの当たり具合によって2～6cm程度の復元精度を達成

不整地地図生成の再検証
・SLAMアルゴリズム： LOAM→LIO-SAM
・キャリブレーション ：ボード3枚を様々な距離に配置の改修を行った後に福島RTFの不整地エリアで再度、3次元地図生成を実施

土砂倒木エリア

瓦礫エリア上の自動車

不整地データフュージョン地図(2021年度版)

土砂倒木エリアデータフュージョン地図

瓦礫エリアデータフュージョン地図

不整地の3次元生成地図の特徴

土砂倒木エリアの3次元データフュージョン地図[特徴]
・LIO-SAMにより不整地の大局的な構造復元はできたが、数十cm～数mレベルのずれが生じる場合がある。
(Featurelessな環境のためスキャンマッチングが不十分）
・カメラが前方にしかないため、1回のマッピングにおける色の復元範囲が狭い
・色付けした点群中に誤投影された点群もまだ見られる。

今後の対応策・屋外不整地におけるGNSS-RTKデータを使用した3次元地図とロボット位置の補正
・複数カメラを使用したデータフュージョン地図作成範囲の拡張

準備中のRTK-GNSS受信機とアンテナ

遠隔自律移動の研究

遠隔自律移動研究

ロボットクラウドコマンド

地震や洪水等による被災地の現場

指令拠点（遠隔地）
人が作業するのに困難な災害地域等の不整地において、複数台のロボットがクラウド上に蓄積された2-3次元地図情報を共有し、遠隔地からの制御で、自律移動・作業を実現することを目的
極限環境下では通信状況が不良である事が予測されるので、ロボットの自律的な移動・作業が望まれる。

遠隔制御用通信システムの開発
・遠隔制御システムの研究は数多くなされているが、自律移動を実現するフレームワークは十分に研究されていない
・極限環境でも適用可能なコンパクトでセキュアー、かつロバストな遠隔制御通信システムも十分でない。
ROSとMQTTを接続した、コンパクトでセキュア―かつ安定した制御・通信フレームワークを開発して、遠隔自律移動用に適用〇ROS (Robot Operation System)
ロボットオペレーションのための代表的なミドルウェア。
マニピュレーションやマッピング、自律移動のための様々なパッケージを提供〇 MQTT (Message Queuing Telemetry Transport)
代表的なIoTプロトコルであり、AWSやMicrosoft Azure等で使用
軽量なメッセージングと安全性を担保開発した通信システム
ロボット自律移動：ROS (Navigation Stack)
データ通信(NAT越え）:Mqtt_bridge (ROS⇔MQTT)
Mqtt_server
地図提供: Robotic Cloud (RDR)
LictiaRTF

ROS-MQTT-bridge system

ロボットクラウド
地図生成用RDR(Robot Data Repository)
入力センサーデータ(LIDAR+カメラ)から3次元地図とナビゲーション用の2次元グリッドマップを生成

遠隔自律移動においては、RDRの4次DBに格納された2次元グリッドマップをHTTPでロボットにダウンロードしてナビゲーションに使用する。

自律移動に使用するロボット
Intel Realsense

Velodyne VLP-16〇自律移動試験用ロボット

・Turtlebot3-waffle-piをベース
・3次元LIDAR(Velodyne-VLP16)
を地図生成とナビゲーションに使用可
・2次元グリッドマップ上でWaypointsを指定しての自律移動可自律移動システム[ROS]の自律移動のフレームワークである[Navigation Stack]を使用。

・ロボット制御[Movebase]・自己位置推定[AMCL]
・経路計画[Dynamic Window
Approach (DWA)]

LIDARスキャンデータによる障害物検出と自己位置推定。
コストマップを使用しての経路計画

自律移動時のROSデータ接続
ROS-node
ROS-topic

自律移動のデータ送受は全て[ROSトピック]で行われている。
[ROSトピック]間の送受はセキュリティ上基本ローカル通信内のみ遠隔操作のため、ROSトピックをMQTTに変換して、インターネット越え(NAT越え)を行う。

遠隔自律移動検証試験 (1)

会津大学（会津若松市）及び福島RTF(南相馬市）のいずれかに制御用PCかロボットを設置し、遠隔自律移動を実施。（約100km離れた2都市間の通信）

遠隔自律移動検証試験 (2)Case(A)：遠隔制御用PC（会津若松）、ロボット（南相馬）
Case(B)：遠隔制御用PC（南相馬）、ロボット（会津若松）

検証試験コンフィグレーション[評価項目](1) Round Trip Time (2)Waypoint間移動時間(Travel time)(1)と(2)を ケース(A),(B)の両者で評価する。

自律移動用の地図
会津大、福島RTF供にロボットクラウドの4th-DBに格納した2次元グリッド地図を自律移動に適用

WX: Waypointsの位置、RX:ロボットの移動ルート

RTT評価結果(Case-A)
使用ローカルNetwork：会津大オフィスLocal-WiFi (Deco)

Average
0.0724±0.052

Average
0.0843±0.039

RTT評価結果(Case-B)
使用ローカルNetwork：Lictia-Local-WiFi (Lictia-Robot)

Average
0.0786±0.111

Average
0.0866±0.043

Case(B)のLocal-Controlの大きい分散はおそらく複数のWifiが起動している混信に起因か（Local ControlはTeleoperationよりも周辺のネットワーク環境に影響を受けやすい。）

Travel Time 評価
各ルートの5回測定の結果と標準偏差
Case-A

Case-B

会津大ロボット設置時(Case-B)の測定結果の大きな分散は通信環境と経路の狭さ、障害物の多さなどに起因すると推定される。

検証試験結果まとめ〇開発したROS-MQTT-bridgeシステムは遠隔通信による自律移動制御に十分適用でき、ローカル通信と同等の通信性能、制御性能を有する。また、比較される性能はロボットの設置場所に依らない。

〇開発したRDRで生成される地図は遠隔地のロボットにダウンロードされ、遠隔自律移動に適用で可能である事を確認できた。

〇遠隔自律移動の性能は周辺の通信環境により影響を受ける。(特に平日昼間は影響を受けやすかった。）
また、画像の送信レートも現状は遅い。

遠隔自律制御に関する今後の研究方針〇通信環境の変更(4G→5G)に伴う遠隔自律移動性能の改善の検証〇不整地に適用可能な3次元地図を用いた自律移動手法の研究サーベイと検討〇不整地自律移動のための探査ローバの研究開発〇福島RTFの不整地エリアを使用した屋外での遠隔自律移動の検証試験
屋外遠隔自律移動検証試験の構想

福島RTF不整地エリア

会津大学

2021年度のまとめと2022年度の研究実施目標(1)〇地図生成研究2021年度・新しいSLAMアリゴリズム(LIO-SAM)とLIDAR-カメラ
キャリブレーション法を使用してより高精度な不整地の3次元データフュージョン地図を生成できた・3次元データフュージョン地図の色復元率と物体サイズ復元率の定量的な評価を実施した。
2022年度・RTK-GNSSデータを使用した地図補正とロボット位置補正を行い、改善精度の定量的評価を実施する。
・複数台カメラと3-DLIDARを使用してデータフュージョン地図の復元範囲の拡張を試みる。

2021年度のまとめと2022年度の研究実施目標(2)〇遠隔制御研究2021年度・ROS-MQTTブリッジを使用した新しい遠隔通信システムを開発し、100km離れた2都市間の遠隔自律移動を実現できた。
・遠隔自律移動性能としてRTTとTravel Timeの評価を行い、ローカルと遠隔時の間で自律移動時のデータ送信性能、走行性能に有意な差異が無い事を確認した。
2022年度・会津大及び福島RTFの5G通信環境を使用した遠隔自律移動性能の検証
・3次元地図を使用した自律移動研究のサーベイと、研究開発方針の検討