みちびき（準天頂衛星システム）講演会 ～ドローンUGV最前線2023～

ドローンAI協調型CLAS海ごみ自動回収運搬ロボット
仙台高等専門学校総合工学科 教授 博士（学術）園田 潤
sonoda@sendai-nct.ac.jp
2023年9月2日＠福島ロボットテストフィールド内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出2

1. 研究概要● 海岸漂着の海ごみ問題：コロナ禍や人口減少で人手による回収困難に● 情報通信研究機構R3,4年度委託研究：AIとロボットで省力化①ドローン画像からAIで海ごみが多い箇所を検出し人員配置②海ごみ自動運搬ロボットで回収した海ごみを自動運搬①ドローン画像からAIによる海ごみ分布検出（検出精度90 %程度の2種類のAIを開発）②海ごみ自動運搬ロボット（4台のロボットを開発）

3

内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出4

研究背景：世界的に深刻な海ごみ問題● 海岸漂着の海ごみ：マイクロプラスチックなど世界的問題● 2050年までに海中のプラスチックが魚の重量を超える予測● 国内外で海洋プラスチック調査や削減施策が実施● 海ごみ回収の問題：例. 山形県酒田市飛島
2019年は240人で約1.6トンを人手で回収→コロナ禍で回収できず

飛島の海ごみ問題（クリーンアップ作戦2019と未回収の海ごみ）5

研究背景：世界的に深刻な海ごみ問題● 沖縄・鹿児島等の離島でも深刻：多くがボランティアによる回収で人手による海岸からの回収運搬搬出が課題

沖縄県宮古島市白川浜（2023/03/02）

6

研究背景：先行研究と課題● 海ごみ回収運搬ロボット：○ 一般社団法人BC-ROBOP海岸工学会（車輪牽引型）2018○ Dronyx社Solarino（クローラ回収小型）2018○ 株式会社S・T・K工業（人操作バギー型）2020● 先行研究の課題：多様な運搬路の自動走行化

砂礫海岸・斜面・森林等の多様な運搬路の自動運搬

7

研究背景：研究の目的・内容● 研究目的：海ごみ回収運搬を少人数で効率的に実施するための，多様な走行路を精度よく自動走行する海ごみ自動運搬ロボットの開発○ 人とロボットの協調で海ごみ回収運搬：人が回収・ロボットが運搬○ 将来的にはドローンとロボットで完全自動回収を● 研究内容：○ GNSS・QZSS/CLASとLiDARによる自動運搬ロボット○ 上空見通し内外環境における重量物運搬で走行精度評価○ 実際のビーチクリーンに適用したロボット投入の効果

8

内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出

9QZSS/CLASとLiDARによる海ごみ自動運搬ロボットの開発● JAXAみちびきの補強信号CLAS：屋外で上空見通し良の場所用● レーザ光によるLiDAR：屋内や森林内で上空見通し悪の場所用● 砂礫海岸や斜面など不整地走行のためにクローラを採用● クローラ型ロボット上に海ごみを搭載して自動走行（牽引型も開発）

研究開発中のGNSS/LiDAR海ごみ自動運搬ロボット

10

QZSS/CLASによる海ごみ自動運搬ロボット● cmオーダー測位：QZSS/CLASやRTK/VRS● QZSS/CLAS：基準局不要，通信環境に依存しない（VRSでも冗長化）● CLAS受信機：株式会社コア Cohac ∞ Chronosphere-L6 II● 自動走行：CubePilot CubeOrange（IMU付き），ArduPilot Mission Panner（経路制御），石井製作所 RTL（農業用クローラ）

11

GNSS・VRS・CLASによるロボット自動走行例● 5 m × 5 mを50 cm間隔で3回同じ経路を矩形走行● GNSS・VRS・CLASによる自動走行の比較○ GNSS : u-blox NEO-M8N○ VRS : コア Cohac ∞ QZNEO○ CLAS : コア Cohac ∞ Chronosphere-L6 IIGNSSVRS (RTK)

CLAS

12

LiDARによる海ごみ自動運搬ロボット● LiDAR SLAM：数cmで自己位置測位● ハードウェア：LiDAR RPLIDAR S1, Jetson nanoでSLAMとモータ制御● ソフトウェア：ROS上でHector SLAM（今回はLiDARのみでIMU未使用）

ハードウェア構成

ソフトウェア構成

13

LiDAR SLAMによる屋内自動走行例● 屋内の長さ4 m 4測線の矩形走行● 埋設管検出用地中レーダ搭載で埋設管位置検出

屋内自動走行例
走行軌跡

14

内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出

15

QZSS/CLASとLiDARによる海ごみ自動運搬ロボットの走行評価● 100 kg程度を搭載した自動走行精度の評価● 上空の見通し内外の2つの環境で評価

走行評価実験を実施した見通し内外2つの環境

16

QZSS/CLASによる海ごみ自動運搬ロボットの走行評価：見通し内● 3回走行の絶対誤差：搭載なしで平均7.5 cm，100 kg搭載で平均7.7 cm

搭載なし

100 kg搭載

17

QZSS/CLASによる海ごみ自動運搬ロボットの走行評価：見通し外● 3回走行の絶対誤差：搭載なしで平均43.3 cm

建物や木々で上空見通不良でCLAS Fixしない場合（このような環境下ではLiDARを使用）

18

LiDARによる海ごみ自動運搬ロボットの走行評価● 3回走行の絶対誤差：10 kg搭載で平均3.5 cm，80 kg搭載で平均3.6 cm

10 kg搭載

80 kg搭載19

砂浜海岸における自動走行実験● 宮城県岩沼市の砂浜海岸で重量物搭載した自動走行実験● 砂浜海岸でも自動走行可能宮城県岩沼市砂浜海岸における自動走行実験（左：実験の様子，右：3回自動走行の軌跡）

20

100 kg搭載した傾斜角30°の斜面で走行性能評価● 山形県酒田市飛島の傾斜角30°の斜面で走行評価● 草地の凹凸のある斜面でも100 kg搭載して30°の斜面を走行可能山形県酒田市飛島での走行実験の様子

21海ごみ自動運搬ロボットの人員削減効果の評価● 2021年5月：第21回クリーンアップ作戦（参加人数70名）○ 傾斜角30°の斜面を含む運搬路において，80 分間でごみ袋計193 袋で重量491 kgを運搬○ これまでの200 名の人員でのバケツリレーで運搬と比較すると，開発中の海ごみ自動運搬ロボット1台で40人程度の人員に相当● 2022年9月：海ごみロボット実証実験合宿（参加人数7名）○ 50 袋の海ごみを回収（1袋の平均重量1.8 kg）○ 開発中の海ごみ自動運搬ロボットは100 kg搭載できるので，1人が2袋を運搬できるとすれば30名程度の人員に相当22

本研究のメディア報道例

2021/5/21朝日新聞，この他読売新聞，山形新聞，NHKなどで放送

23

本研究のメディア報道例

2022/11/1朝日新聞

24

本研究のメディア報道例

2023/1/23日本財団，この他tysテレビ山口でも放送

25

内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出26

まとめと今後の展開● 目的：海ごみ回収運搬を少人数で効率的に実施するための，多様な走行路を精度よく自動走行する海ごみ自動運搬ロボットの開発● 内容と結果：○ QZSS/CLASとLiDARによる自動運搬ロボットの開発○ 重量物運搬時の走行精度：CLAS 8 cm程度，LiDAR 4 cm程度
○ 海ごみ自動運搬ロボット1台の人員削減効果：30～40人程度● 今後の展開：○ さらに多くの実際の海岸清掃におけるロボット導入の効果検証○ 5G遠隔操作との併用（2023国交省事業で実証中）○ 群制御等による複数台ロボットの投入検証

27

内容
1. はじめに：研究背景・研究目的・内容
2. 方法：QZSS/CLASとLiDARによる海ごみ自動運搬ロボット
3. 評価：上空見通し内外環境における重量物運搬時の走行精度
4. まとめと今後の展開
補足：AI海岸漂着物検出28

補足：山形県酒田市飛島でのクリーンアップの様子

第16回飛島クリーンアップ作戦2016・YBC山形放送YouTube

29

補足：開発した海岸漂着物検出AI①での検出例● 方法：敵対的生成ネットワークGANベースをAIを元に開発● 学習：セグメンテーションAIで5000個程度の学習データセットを学習● 結果：ピクセル毎の類似度で90%の精度で検出可能

セグメンテーションAIによる検出例（左：空撮画像，右：人工物を黄色，自然物を赤で出力）30

補足：開発した海岸漂着物検出AI②での検出例● 方法：畳み込みニューラルネットワークCNNベースのAIを元に開発● 学習：物体検出AIで5000個程度の学習データセット● 結果：正解との個数で90%の精度で検出可能

物体検出AIによる検出例（空撮画像から海ごみをBBoxで囲って出力）31

補足：海ごみ分布の定量化：1000 m × 100 mの領域を3年分で評価● 宮城県名取市閖上浜の1000 m × 100 mの領域を3年間ドローンで空撮● 開発した海ごみ検出AIによる海ごみ分布定量化● 高度25 mでドローンで空撮した画像から全領域画像を生成し評価※国交省交通局，仙台国際空港株式会社，宮城県関連2部局に申請の上で実施

宮城県名取市閖上海岸：1000 m×100 mの領域を2020～2022年まで3年間空撮

32

補足：海ごみ分布の定量化：1000 m × 100 mの領域を3年分で評価● 学習：2020年8月と10月の2ヶ月間の空撮画像から海ごみ5000個● 検証：2020年9, 11月，2021年9, 11月，2022年11月の検出率を評価● 結果：3年間の広域海岸の海ごみ分布を平均85 %の精度で定量化可能AIによる2020～2022年までの海ごみ分布の定量化（左：AI推定値，右：実測値）

33

補足：海ごみ分布の定量化：地図情報との統合（回収計画立案に）● 定量化した海ごみ分布を地図上にマッピング● 自治体等の回収計画の参考に，分布把握で効率化・省力化へ

地図情報の統合による海ごみ回収計画の立案へ

34

補足：人工衛星測位とLiDARによる海ごみ自動運搬ロボットの開発● 4台のロボットを開発：搭載型・牽引型・小型軽量型，各種路面対応

開発した4台の海ごみ自動運搬ロボット

35