鳥取県産業技術センター研究報告 No.24 (2021)

自動搬送ロボットの障害物検知・自己位置検知技術の開発
Development of the Obstacle Detection and Self-Location Detection Technology of Autonomous Mobile Robots

福谷武司＊・山根知之＊＊
Takeshi Fukutani, Tomoyuki Yamane＊

機械素材研究所

機械・計測制御グループ、＊＊電子・有機素材研究所

電子システムグループ

工場の生産現場で使われる自動搬送ロボットについて、高精度かつ高速で目標位置に停止させるためにLiDAR と 360 度ステレオカメラを併用することを試みた。この中で、特徴点抽出や AI 学習を利用した技術を応用し、障害物検知・自己位置検知することができた。これにより、今後高速演算 GPU の演算性能が向上するにつれて、目標位置への停止精度が向上する見込みを得た。

1. はじめに選定にあたり次に留意した。

近年の人手不足により、県内の製造業においても、製造現場において搬送工程のロボット化・自動化の① プログラミングの容易さニーズがある。しかし、現在市販されている自律搬プログラミングの容易さについては、開発環境の送ロボットの多くはセンサとして LiDAR を使用し構築が容易であり、サンプル等によって機能や動作ており、目標停止位置に最終的に至る段階で精度ががすぐに試行でき、技術情報が豊富であること。特低く、部品の受け渡しの失敗が発生する場合がある。に、昨今画像認識やＡＩプログラミングに使われる

停止位置精度は磁気テープを床に張ることでも対ことが多くなってきている Python 言語、ロボットの策できるが、異なるロットについて異なる位置で停動作等に関するプログラミングに多くの有用なライ止する必要が生じた場合、段取り替えの工数の増大ブラリが含まれている ROS（ロボット OS）への対に繋がる。

応があること。

そこで本研究では、現在市販されている LiDAR 制御による自動搬送ロボットを高精度で目標位置に停② センサ処理およびカメラ画像処理の遅延の少なさ止させる補完技術の開発を目的として、汎用の 360

映像を生成する時間、通信時間、および画像処理、度ステレオカメラを利用した自動搬送ロボットの位画像判断について遅延が少ないこと。LiDAR でおお置検出を行う技術を開発する。これにより段取り替

まかな空間状況を取得し、360 度ステレオカメラでえの工数を少なくかつ受け渡し時の精度の向上を狙詳細な情報を得るといった相互に補完的な関係を持った。

ち、効率的に障害物および自己位置検知が可能となること。

2. 実験方法
2.1 自動搬送ロボットの選定③ 入力情報から制御演算への計算処理速度
入力データの計算処理を高速に行うことが自動搬

現行自動搬送ロボットの情報収集を実施、表 1 に送ロボットの進行方向決定の迅速化に寄与すること。

示した 4 種類のモデル台車を候補として挙げ、基本特に、高速演算 CPU や GPU により演算処理の高速性能の検証を行った上で実験用モデル台車を選定し化が可能となること。

た。

そこで 360 度ステレオカメラを近距離測定用として④ 制御動作出力の安定性
演算結果出力として、走行用モーター等動力部に走行停止命令やスピード強弱等を伝達する安定性について PLC 対応をしていること。
このような視点から、各モデル台車を評価したものを表 1 に示す。

補完することとした。
プログラムの開発環境は表 3、360 度ステレオカメラの仕様と外観は表 4 および図 1 のとおりである。
この 360 度カメラを 2 台使うことでステレオカメラとなる。
表４ 360 度カメラ仕様

表１ 検証した搬送台車と各台車の特性

撮像素子

レンズ

評価結果からMegaRover を選定し自動搬送ロボットの開発を行うこととした。仕様を表 2 に示す。

タイプ
有効画素数
出力画素数
35mm 換算焦点距離F値
レンズ構成
撮影距離範囲撮像範囲

1/2.3 CMOS
約 1200 万画素
約 1400 万画素
23.6mmF2.0
6群7枚
100mm～∞
全球

前方視界用レンズ

後方視界用レンズ

電源ｽｲｯﾁ

表２ 自動搬送ロボット(VSTONE MegaRover)仕様
概要

寸法
積載重量
駆動方式
最高速度

ESP32-WROOM-32 およびRapsberry Pi 3B

制御基板
センサ類

L396mm×W353mm×H166mm
40kg
40WDC モーター×2
1.2m/sLiDAR

HOKUYO URG-04LX-UG01

図１ 今回使用した 360 度カメラ

2.3 各種センサデータによる障害物・自己位置検知
図 2 のように 300mm 以上の遠距離には LiDAR、300mm 以内の近距離には360 度ステレオカメラの適所配置を最適な組み合わせとして一体化した。

2.2 開発環境と 360 度ステレオカメラ
従来の距離検出手法で用いることの多いレーザーのスキャニングセンサである LiDAR については、一般的に近距離での測定精度が低いことが知られている 1)、2)。実際に使用した LiDAR について確認したところ、遠距離は 10m 以上の測定が可能であり問題なかったが、近距離においては 300mm ほどの不感帯が存在おり、近距離の物体検知には適用できない。

図２ センサの領域区分

表３ 開発環境構成
PC

ｸﾞﾗﾌｨｯｸ
ｶｰﾄﾞ

開発
環境

CPU
ﾒﾓﾘ
OS

Intel Core i9 9900X (4.5GHz)
DDR4-2666 SDRAM 128GB
Windows 10 64bit

名称
ｺｱ数
ｸﾛｯｸ
ﾒﾓﾘ
ｺﾝﾊﾟｲﾗNVIDIA Quadro GV100
5120
1450MHz(ブースト)
384bit GDDR5 SDRAM 6GB
C++ｺﾝﾊﾟｲﾗ(Visual Studio)
Python 3.8

LiDAR を使って得られたデータを元に図 3 のような室内の距離マップを作成し、自動搬送ロボットの進路データ作成に用いた。

マップの作成にはROS 上で動作するcartgrapher とgmapping というソフトを用いた。

手順は図 4 のように全方位ステレオカメラで撮影した 2 枚の画像を図 5 の正距円筒図に展開し、図 6のように各対象物特徴点抽出の上、図 7 のような原理で視差を算出し障害物・自己位置検知を行なった。

2.5 検知精度向上のための AI 利用

図３ LiDAR のデータに基づくマップ作成の様子

障害物および自己位置検知精度を向上させるため
2.4 360 度ステレオカメラによる障害物・自己位置検知
360 度ステレオカメラによる障害物・自己位置推
定技術については、三角測量と画像認識による対象物をベースに行った 2)。に図 8 に示す概念図のような AI による学習（Endto-End 学習）を行った 3)。
図 9 に試行的に器物をランダムに配置した部屋のCG 画像による学習から深度を取得した例を示す。
この例はカメラ 2 台（190 度視野レンズ 2 枚搭載の 360 度カメラを間隔 360mm にて配置）の位置関
係、撮像を行った画像およそ 9000 セット（各レンズ1 枚ずつで合計 36,000 枚）を使って学習をしたものである。

図４ 取得したカメラ画像

これにより、任意の撮影画像から周囲物体までの距離を算出するプログラムを作成した。学習には約 90時間を要した。

図５ 正距円筒図に展開したカメラ画像
CG による元画像（36000 枚のうちの 1 枚）

図６ 視差の算出用に平面化したカメラ画像
学習回数 150 回

学習回数 1000 回

学習回数 2700 回

学習回数 9000 回

図９ 深度取得画像

図７ 画像上の点を 3 次元の空間上の点に変換する原理図

図８ 使用した AI の概念図 3)

3. 結果が難しく、距離が精確に測定できないという問題が3.1 障害物と自己位置検知のための室内マップ作成あった。
本研究で取り組んだ AI を援用する手法によ開発した位置検出機能を付した自動搬送ロボット

り、これらの平面も学習させることでより精確な距で走行実験を行なった様子を図 10 に示す。
全方位カメラ

図１０ 開発したロボットの走行実験の様子
図１２ 入力画像（上段）から作成した距離推定画像（下段）離測定が可能となった。例えば図 13 のような壁、床を含む測定対象空間を 3 次元空間データへと変換することができた。近接距離の検知ができない LiDARのみの場合に比べてカメラ画像の色情報や物体検知
図１１ 作成した室内マップを併用し距離情報が精確に計算できた。これらの空

本カメラ画像を用いた自動搬送ロボットのコント間データを用いて、自動搬送ロボットを動作させるロールを行うにあたり、自ら作成した地図を基に自ことができた。

律走行を行う技術である SLAM （ SimultaneousLocalization and Mapping 自己位置推定技術）の実装を行った。LiDAR により得られた周囲 360 度にある物体と自動搬送ロボットとの距離情報および姿勢（移動量）を表すオドメトリを元に、図 11 に示すような室内の地図を作成し、この地図と自動搬送ロボ
ットの各種センサを元に、目的地まで移動する機能（ナビゲーション）による自動走行実験を行った。

3.2 AI の援用による走行

図１３ 測定対象空間と AI 援用による空間表現

4. 考察

2.5 で既に述べたように障害物および自己位置検本研究で自動搬送ロボットを開発したが、現場に知精度を上げるために AI による学習（End-to-End 学投入するには現時点では次のような課題があった。

習）が有効であった。

（1）カメラの設置安定性に起因する精度低下

図 12 にカメラから得られる 360 度ステレオカメ

360 度ステレオカメラとして用いているカメ

ラ画像と、それを処理して距離推定画像としたもの

ラ間の姿勢のずれが距離推定精度に大きく影を示す。複数カメラによるステレオ深度測定は、カ響する。カメラの設置安定性を上げ対処する必メラ画像間の特徴点マッチングとその視差により点要がある。

群の位置計算を行っており、例えばテクスチャ特徴量の少ない壁や床、天井においては従来特徴点探索（2）AI 推論モデル処理に伴うハードウェア強化構築した AI 推論モデルが通常の画像処理で数 MB 規模であるところ、84MB と巨大であり、高性能の GPU または FPGA によるさらなるハード強化が必須であることもわかった。

5. おわりに360 度ステレオカメラと LiDAR を併用し、特徴点抽出や AI 学習を利用した技術を開発し、障害物と自己位置の検知をすることができた。
研究により得られた搬送ロボットに関する技術・知見について、従来、主に技術面およびコスト面で市販ロボットでは対応が難しかった県内企業ニーズ・課題に合致したロボット開発、企業支援につなげていきたい。
また、機能的な観点では、リフター装置などの機構を必要とする声が高い。アルミフレームを組み合わせ、高さ方向と前方への位置調整ができる供給装置としてのリフター試作などを行い様々な場面に活用の幅を広げていきたい。
ロボット分野は、AI、IoT と相まって大きな発展を見せている分野であり、より高性能の製品もリリースされ続けていることから、その動きを注視し、県内企業に役立つ技術として展開させ普及を図りたいと考えている。

参考文献
1) （株）アルゴ 3D 三次元 LiDAR の原理
https://www.argocorp.com/cam/VelodyneLidar/3DLiDAR.html
2) 福谷武司； 全方位カメラ視差画像による 3D 空間障害物検知システムの開発, 鳥取県産業技術センター研究報告, No.22, p.9-12(2019)3) OmniMVS: End-to-End Learning for Omnidirectional
Stereo Matching, Changhee Won, Jongbin Ryu andJongwoo Lim; Proceedings of the IEEE/CVF
International Conference on Conmputer Vision(ICCV)2019, pp.8987-8996