極限環境へ適用可能なロボット技術研究2022
会津大学

コンピュータ理工学部
山田竜平

大きな研究目標
災害・事故現場や月惑星等の人間が活動するのに困難な極限環境においては、ロボット技術の利用が必要不可欠である。
極限環境に適用可能なロボット技術についての研究、開発を実施している。
（極限環境の例）

台風による土砂崩落現場

月表面（嫦娥3号搭載ローバによる撮影）

極限環境における問題点〇走行困難、危険を伴う不整地

活火山領域〇認識できる特徴点の少なさ〇不整備な通信環境

Robot〇滞在困難な環境(極高温・低温、真空、高圧、放射能等)

月表面

福島第一原発建屋内

極限環境はロボットの活動に対しても困難な環境

3

極限環境用ロボットへの要求〇不整地や特徴点の少ない環境における正確な地図生成
極限環境で予測される不整地等においてロボットが周辺環境認識や自律移動に適用可能な高精度・高解像度の地図を生成する技術〇通信困難域におけるロボットの遠隔自律作業
通信が困難な極限環境域において人が近づくことなく、遠隔地からの操作でロボットが自律的に移動・作業する技術〇不整地の走破能力
起伏の激しい不整地を円滑に移動するためのロボットの走破能力、移動機構〇耐環境性
探査環境下（例えば極高温or低温)でロボットが必要な性能を発揮できるだけの耐環境性
現在は地図生成と遠隔制御、不整地走破の研究を進めている。

2022年度における実施事項〇地図生成研究・複数台カメラ画像と3次元LIDARデータを使用したマルチデータフュージョンによる不整地の地図生成
・RTK-GNSSを用いたロボット自己位置推定と地図補正の検討〇不整地走行・小型クローラロボットの開発と不整地環境における地図生成試験〇遠隔制御研究・ROS-MQTTブッリジを使用したロボット遠隔通信の性能評価

地図生成研究3次元地図生成研究用ロボットの開発
2022年度は新規にマルチデータフュージョン用の3次元地図生成用台車ロボットの開発を行った。

Control-PC
3-D LIDAR(LIVOX Horizon)
Battery

台車2号機改F（新型3次元地図生成研究用台車ロボット）

マルチデータフュージョンシステム
IMU(3DMGX5-AHRS)

3-D LIDAR(Velodyne VLP-16)
Camera(Intel Realsense D455i)

CameraCamera(Intel Realsense D455) (Intel Realsense D435i)〇 3-D LIDAR、IMUに加えて3台の可視光カメラを装着できる新規のアタッチメントを製作し、台車に取り付けた。
〇3台のカメラ画像とLIDARで観測した3次元点群データをフュージョンさせる新規のコードを開発した。
(Multiple Data Fusion)

LIDAR-カメラキャリブレーション
3台の各カメラと3D-LIDAR間のカメラ外部パラメータ導出のため、[Yamada and Yaguchi, 2020]による複数枚の円穴ボードを使用したキャリブレーションを実行した。

LIDAR-camera calibration

3次元地図生成実験
福島ロボットテストフィールド(RTF)の室内及び屋外環境において、SLAMによる3次元地図生成実験を実施。
①RTF 2F ロビー(Indoor)②RTF 土砂倒木エリア(Outdoor)⑥③②①⑤③RTF土砂傾斜エリア(Outdoor)④④ ⑤①⑥②③②、③はRTFの不整地環境での実験データフュージョン(3次元点群投影）

キャリブレーションで決めたパラメータを使用して、各3台のカメラ画像にLIDARで同時取得した3次元点群を投影（図は土砂倒木エリアでの3台カメラ画像への点群投影例）

Front Camera

投影した各3次元点に投影下のピクセルのRGB値を付与

Left Camera

Right Camera3次元生成地図の比較
LIDAR-SLAMにより構築した不整地での3次元点群地図とデータフュージョンによる色付き3次元点群地図との比較（土砂倒木エリアの例：全周～約81m）
３次元点群地図（土砂倒木エリア）

台車移動軌跡
色付き３次元点群地図（土砂倒木エリア）

台車移動軌跡データフュージョンを実施することで、周辺環境認識率が大幅に向上※本研究で地図生成に使用したLIDAR-SLAM
は全て[LIO-SAM][Shan et al.,2020]を採用

マルチデータフュージョンの効果
これまでの前カメラ画像に加えて、左右カメラ画像を使用したデータフュージョンにより、色付き点群地図の復元範囲が大幅に向上
色付き３次元点群地図（土砂倒木エリア）

前カメラのみ

前カメラ+左右カメラ

色付き3次元点群の例 (1)RTF-2Fロビー
SLAM Algorithm: LIO-SAM(Multi Data-fusion)

３台カメラ+3D-LIDAR点群フュージョン

屋内環境はほぼ正確に地図を生成する事が可能色付き3次元点群の例 (2)RTF土砂傾斜エリア
SLAM Algorithm: LIO-SAM(Multi Data-fusion)

⑥④
①

⑤

③②
３台カメラ
+3D-LIDAR点群フュージョン

屋外不整地でもおよそ正確に周辺環境復元ができるが、土砂傾斜エリア（全周～約182m）では、地図が完全には閉じない。
(ループ閉じ込み付+IMUカップリングのLIDAR-SLAM(LIO-SAM)でも、現状は難しい。）

不整地での3次元地図生成精度評価
土砂倒木エリアと土砂傾斜エリアに並べた6つのマーカーBOX（1辺50cmの赤色立方体）の3次元色付き点群地図上における箱のサイズの復元精度を評価した。

⑥③②⑤④①①④ ⑤③ ②④ ⑤⑥②③⑥①

土砂倒木エリア④ ⑤① ②⑥③土砂傾斜エリア

3次元点群地図上におけるBoxのサイズ評価
立方体の各辺の手動による測定値(3回測定の平均と分散)

規定値は0.5m

Box number on each area

〇ほとんどのBoxが ±10 cm 以内の精度で復元されている。
〇地形上段のBox(Box number:4～6)の方が下段のBoxよりも約1.5倍分散が大きい。
ロボットからより離れた地形上段のBoxでは、点群の解像度が粗いことによる。

RTK/GNSSデータを使用したロボット位置の補正
土砂傾斜エリアのような大規模不整地で地図が閉じない事象においては、[RTK/GNSS]データのような外部ポジショニングデータを使用して、地図の補正を試みる。

RTK-GNSSによるポジショニング

U-blox ZED F9P
RTK-GNSS module

RTK/GNSSによる地図補正の研究のため、基準局[Station]と移動局[Rover]用にRTK-GNSSモジュール(U-blox ZED F9P)を2台用意した。

NTRIP通信の利用
NTRIPは公開基準局（善意の基準局）からインターネットを経由して、RTK の補正データを配信する通信方式。
(NTTやSoftbank等でも商用利用）

今回の実験では、NTRIP方式により善意の基準局（山形大学）から配信された補正データでRTKを行う。
（南相馬市や福島県に公開基準局がない）

ロボット位置推定実験

台車2号機にRTK/GNSSモジュールを搭載しデータを取得しながら、RTFの400mトラックを一周。
[RTK/GNSS]と[LIDAR-SLAM]で推定したロボット位置を比較
Experiment in 400 m circuit in RTF (23/2/13)

トラックを1週中、RTKによるロボット位置データを得ることができた(Fix-mode)（山形大から配信されてる基準局の補正データをNTRIP方式で受信して使用。）

ロボット軌跡の比較
Odometry by RTK/GNSSOdometry by LIO-SAM
400mトラック一周

400mトラック一周

Without RTKWith RTK〇SLAMによる位置は高さ方向に数mずれたが、GNSSデータのずれは微小であり、補正に使用する事が可能〇 RTK/GNSS のロボット位置の単位は緯度・経度の絶対位置、SLAMはスタート地点を原点とした[m]での相対位置なので、マッチングには変換が必要（現在、変換コード作成中。）〇基準局として使用した山形大は南相馬から遠すぎるので、南相馬に基準局を構築するのがより良い。(RTK2GO等の使用)

不整地走行研究小型クローラロボットの開発
不整地走行範囲と地図による復元範囲を拡張するため、小型のクローラロボットの開発を実施した。
Cubo-Rex社の[CuGo-V3 (REX)]をベースにロボットを設計

台車参号機プロトモデル

開発した小型クローラロボット（台車参号機プロトタイプ (REX))〇2.4GHzコントラーラによる遠隔操作可能
IMU

VelodyneVLP16〇15degまでの不整地の傾斜の登坂を確認

Intel real-sense〇シミュレータ（コレオノイド）上でもロボットモデルを構築（搭載機器）
・3D- LIDAR (Velodyne VLP-16) (最大測定距離:100m)
・可視光カメラ (Intel Real-sense)×3台
・IMU (3DM-GX5-AHRS)
・On-Board PC (Ubuntu20.04 (ROS-Noetic))

クローラロボットによる地図生成実験
台車参号機（プロトタイプ）でRTF不整地エリアの走行とLIDAR-SLAM(LIO-SAM)による3次元地図生成試験を実行

ステップフィールドの走行試験

傾斜15degの走行・地図生成試験

開発した小型クローラロボットでリモコンによる遠隔操作により、轍や凹凸地面の不整地走行、ステップフィールド、傾斜15degの斜面までの走行と地図生成を確認。

クローラロボットによる地図生成(1)
土砂傾斜エリアにおいて、台車参号機で15deg斜面を登って、測定を行う事により、地図生成範囲を拡張できる事を確認した。
（ただし、現状、傾斜30degまでの斜面走行は困難）

RTF土砂傾斜エリア

RTF土砂傾斜エリア

クローラロボットによる地図生成(2)RTF土砂傾斜エリア
SLAM Algorithm: LIO-SAM

一方、手押し台車と同様に地図は閉じない。
Featurelessで大規模な不整地環境の復元においては、RTK/GNSSや他のセンサーデータとの組わせが重要になると考えられる。

ロボット遠隔制御研究

遠隔自律移動研究

ロボットクラウドコマンド

地震や洪水等による被災地の現場

指令拠点（遠隔地）
人が作業するのに困難な災害地域等の不整地において、複数台のロボットがクラウド上に蓄積された2-3次元地図情報を共有し、遠隔地からの制御で、自律移動・作業を実現することを目的
極限環境下では通信状況が不良である事が予測されるので、ロボットの自律的な移動・作業が望まれる。

遠隔制御用通信システムの開発
・遠隔制御システムの研究は数多くなされているが、自律移動を実現するフレームワークは十分に研究されていない
・極限環境でも適用可能なコンパクトでセキュアー、かつロバストな遠隔制御通信システムも十分でない。
ROSとMQTTを接続した、コンパクトでセキュア―かつ安定した制御・通信フレームワークを開発して、遠隔自律移動用に適用〇ROS (Robot Operation System)
ロボットオペレーションのための代表的なミドルウェア。
マニピュレーションやマッピング、自律移動のための様々なパッケージを提供〇 MQTT (Message Queuing Telemetry Transport)
代表的なIoTプロトコルであり、AWSやMicrosoft Azure等で使用
軽量なメッセージングと安全性を担保開発した通信システム
ロボット自律移動：ROS (Navigation Stack)
データ通信(NAT越え）:Mqtt_bridge (ROS⇔MQTT)
Mqtt_server
地図提供: Robotic Cloud (RDR)
LictiaRTF

ROS-MQTT-bridge system

ロボットクラウド
地図生成用RDR(Robot Data Repository)
入力センサーデータ(LIDAR+カメラ)から3次元地図とナビゲーション用の2次元グリッドマップを生成

遠隔自律移動においては、RDRの4次DBに格納された2次元グリッドマップをHTTPでロボットにダウンロードしてナビゲーションに使用する。

自律移動に使用するロボット
Intel Realsense

Velodyne VLP-16〇自律移動試験用ロボット
・Turtlebot3-waffle-piをベース
・3次元LIDAR(Velodyne-VLP16)
を地図生成とナビゲーションに使用可
・2次元グリッドマップ上でWaypointsを指定しての自律移動可

昨年度の検証試験

2021年度は会津大学（会津若松市）及び福島RTF(南相馬市）のいずれかに制御用PCかロボットを設置し、ROS-MQTTブリッジを使用して、遠隔自律移動を実施。
（約100km離れた2都市間の通信）

遠隔自律移動コンフィグレーション
Case(A)：遠隔制御用PC（会津若松）、ロボット（南相馬）
Case(B)：遠隔制御用PC（南相馬）、ロボット（会津若松）

検証試験コンフィグレーション[評価項目](1) Round Trip Time(RTT) (2)Waypoint間移動時間(Travel time)遠隔自律移動の様子
会津大学に制御用PCを設置し、福島RTFのロボットに指令を出し、遠隔自律移動を実行する。

遠隔通信評価
RTTと走行時間は local Wi-Fi network(Localケース）と開発したROS-MQTTブリッジモジュール(Teleoperationケース）それぞれで測定を行い、比較・評価する。
Minami-soma

Aizu-Wakamatsu(Localケース)

Local-Wi-Fi

ROS-MQTT bridge(Teleoperationケース)

Control-PC

Robot

Control-PC

南相馬の福島RTFにロボットを設置したケースについての結果を示す。
(Localケース)制御PC、ロボット（南相馬）(Teleoperationケース) 制御PC（会津）、ロボット（南相馬）RTT(Round-Trip-Time)測定結果
メッセージ型のROSトピックの容量を変えてRTTを測定
8, 16, 32, 64, 128, 256, 512, 1024 kbytes
各データサイズに対して1000回のRTTを測定
ROSデータサイズとRTTとの関係(1000回測定の平均と分散)

RTT (sec)

0.4
0.3

LocalとTeleoperationの両方で評価

0.2〇RTTは明らかに遠隔通信時の方が大きい〇ROS-MQTTブリッジを使用した際の最大の遅延は1Mbyteデータに対して、0.14 secである。

0.1
0〇RTTはデータサイズに対して増加

101001000
Data size (kb)Waypoint移動時間測定結果
各Waypoint間の移動時間(5回測定の平均と分散)

WX: Waypoint

W3

RX: Travelling
Route

R4

Route

W4
START R5&Goal
R3

R1
R2

W2

W1
福島RTF2Fロビー2次元グリッド
マップ（南相馬自律移動ルート）

Distance(m)Travel time (s)Local

Teleoperation

R1

10.7

55.3±5.2

51.8±0.8R26.5

31.3±0.942.7±16.0

R3

21.2

99.7±2.1

100.4±1.5

R410.657.2±1.1

58.0±1.4R54.5

25.7±0.626.9±2.4

ローカル通信と遠隔通信とで移動時間に有意な差異は見られなかった。
RTTで測定された最大0.1秒程度の遅延は自律移動時間のスケールに対して影響を及ぼさない。

2022年度のまとめと2023年度の研究実施目標(1)〇地図生成+不整地走行研究
2022年度・3台カメラ+3D-LIDARを搭載した新型の台車ロボットを開発し、3台カメラ画像とLIDAR点群をフュージョンさせた不整地の広域色付き点群地図を作成する事ができた。
・小型クローラロボットを開発し、傾斜15degまでの不整地走行とLIDAR-SLAMによる地図生成を実現させた。
・RTK-GNSSモジュールをロボットに搭載してRTKを実現し、ロボット位置の推定を行うことができた。
2023年度・RTK-GNSSデータを使用しての地図補正を行い、正確で広域な不整地3次元地図の作成を実現する
・色付き点群地図の高解像度化と利用方法についての研究を進める。
・データフュージョンのためのLIDAR+カメラキャリブレーション
研究のまとめ・台車参号機（小型クローラロボット）の走破性能の向上

2022年度のまとめと2023年度の研究実施目標(1)〇ロボット遠隔制御研究
2022年度・遠隔通信制御性能としてRTTとTravel Timeの評価をローカル通信と遠隔通信(ROS-MQTTブリッジ）時で評価し、RTTのROSデータサイズに伴う変化を示した。
・遠隔自律移動については、ローカル通信と遠隔通信時でWaypoints移動時間に有意な差異がない事を示した。
2023年度・MQTT以外のIoTプロトコルであるAMQP, HTTPにおいても、ROSブリッジを構築してロボットの遠隔通信性能をMQTTと比較し、遠隔自律移動における最適なプロトコルについて研究する。
・台車参号機（小型クローラロボット）のROSによる制御と遠隔自律移動の実現を目指す。