Virtual LiDAR による自律移動ロボッ
ト向け姿勢推定
専任准教授

宮本龍介

明治大学理工学部情報科学科
画像応用システム研究室
https://www.ip.cs.meiji.ac.jp
2022年10月18日©Image Processing & Systems Lab.

単眼カメラのみを用いた自律走行
意味論的領域分割• 走行可能領域を推定

トポロジカルマップ• ノードを持つ簡易マップ‒ 分岐点‒ 接続情報‒ ルート情報

分岐点
接続情報

実画像
ルート情報
芝生

障害物
seg画像

歩道

・分岐点間の道なり走行・分岐路での方向転換©Image Processing & Systems Lab.

2

屋外環境における走行実験• 走った動画を載せる‒２分~3分くらいにする‒もとは１１分。。。
‒細かい手法を少し説明する◦ 道の方向を推測、交差点の認識のタイミングなど

Visual Navigation Based on Semantic Segmentation Using a Webcam - YouTube©Image Processing & Systems Lab.

自律移動時の問題点• 分岐路での方向転換‒固定の旋回角度に従った動作‒ロボットの方向によって目標と異なる道に進行する• 右折時の例
ルート２

１３

２３

１

進行方向を動的に決定する必要がある
成功失敗©Image Processing & Systems Lab.

4

動的な進行方向の決定方法• 分岐点間の道なり走行‒制御目標点を用いて動的に進行方向を決定‒2本の水平線により障害物を回避‒直線状の1本道において有効道

道

制御目標点直線状の1本道©Image Processing & Systems Lab.

5

動的な進行方向の決定方法• 分岐点間の道なり走行‒制御目標点により動的に進行方向を決定‒2本の水平線により障害物を回避‒直線状の1本道において有効
道

直線状の1本道

1.
2.

道

分岐路内の複数の道を認識
道なり走行の延長で方向転換©Image Processing & Systems Lab.

6

動的な進行方向の決定方法• 分岐点間の道なり走行‒制御目標点により動的に進行方向を決定‒2本の水平線により障害物を回避‒直線状の1本道において有効道

直線状の1本道

1.
2.

道

分岐路内の複数の道を認識
道なり走行の延長で方向転換©Image Processing & Systems Lab.

7

Virtual LiDAR• 2DLiDARのように画像上で仮想的に距離を測定‒ 2DLiDAR

画像: 北陽 https://www.hokuyo-aut.co.jp‒ Virtual LiDAR
意味論的領域分割画像
俯瞰図↓
ロボット中心から道の端までの測定が可能©Image Processing & Systems Lab.

8

ロボットの方位推定手順• VirtualLiDARによる道路形状の計測‒ 2DLiDARのように画像上で仮想的に距離を測定• 道に対するロボットの方位推定‒ 定式化したモデルと観測値のフィッティングを行う

VirtualLiDAR

モデルフィッティング©Image Processing & Systems Lab.

10

VirtualLiDARによる道路形状の計測①俯瞰地図の作成◦ RGB画像

路面領域に対する 意味論的領域分割
深度情報

俯瞰画像離れた場所の特徴を有効に活用©Image Processing & Systems Lab.

11

VirtualLiDARによる道路形状の計測①俯瞰地図の作成◦ RGB画像

RGB画像

俯瞰画像
©Image Processing & Systems Lab.

VirtualLiDARによる道路形状の計測①俯瞰地図の作成◦ 意味論的領域分割画像

RGB画像

意味論的分割画像©Image Processing & Systems Lab.

VirtualLiDARによる道路形状の計測①俯瞰地図の作成◦ 意味論的領域分割画像

意味論的領域分割画像

俯瞰画像画像©Image Processing & Systems Lab.

VirtualLiDARによる道路形状の計測②Virtual LiDAR を用いて道の端までを測定

０

Virtual Lidar 原点

距
離0角度©Image Processing & Systems Lab.

360
15

モデルフィッティング• ①直線の道の形状をモデル化• ②モデルを用いたフィッティング©Image Processing & Systems Lab.

①道の形状をモデル化• 道の形状の見え方©Image Processing & Systems Lab.

平行四辺形モデル

①道の形状をモデル化• 道の形状の見え方

平行四辺形モデル＋地図の形状を反映©Image Processing & Systems Lab.

①道の形状をモデル化
幅(左側,幅 右側)• 道の形状の見え方
長さ

長さ

傾き

傾き

Virtual Lidar 原点• VirtualLiDARを用いた道に対するモデル化‒パラメータ: 角度,長さ,右側の道幅, 左側の道幅“道の傾き” ->道に対するロボットの方位として推定©Image Processing & Systems Lab.

②モデルフィッティング• 観測値に対してフィッティングを行う‒ 緑:観測値、赤: 推定値©Image Processing & Systems Lab.

動的障害物への対応• 動的障害物に対する観測値‒正確な道の形状の推定を行うにはノイズとなる

動的障害物との距離を無視してフィッティング
道の形状を正しく反映していないため©Image Processing & Systems Lab.

21

動的障害物への対応• 意味論的分割結果を利用‒動的障害物のクラスに対する観測結果を無視する‒他の領域に対する関する値のみでフィッティング©Image Processing & Systems Lab.

22

分岐路の形状推定を用いた方向転換
1. 道の形状推定を用いた進路の選択•

Virtual LiDARを用いた分岐路の道形状の推定

2. 分岐路における道なり走行••

制御目標点の設定範囲の限定
障害物回避のための目標点修正

分岐路の形状推定

進路の選択©Image Processing & Systems Lab.

制御目標点の設定
25

Virtual LiDARを用いた分岐路の形状推定• 直線モデルを2つ用いて分岐路モデルを作成‒分岐路:2本の直線の組み合わせ

分岐路モデルの俯瞰図

Virtual LiDAR信号©Image Processing & Systems Lab.

30

道の形状推定を用いた進路の選択• 分岐路の概形とルート情報を照らし合わせる• 進行方向と合致する道を選択
選択

分岐路の概形

ルート情報

選択した進路内で道なり走行を行う©Image Processing & Systems Lab.

31

分岐路における道なり走行• 制御目標点の設定範囲の限定‒進路内に制御目標点を設定
制御目標点

走行禁止領域や障害物進路内への目標点設定

回避のために目標点の修正が必要©Image Processing & Systems Lab.

32

障害物回避のための目標点修正• 従来手法では障害物を検知できない場合がある• 検知範囲の拡大• 修正後の目標点は進路内に収める
移動検知できない障害物検知

従来の障害物検知

本手法の障害物検知©Image Processing & Systems Lab.

33

実環境における実験• 明治大学生田キャンパス内のT字路での方向転換実験‒ 分岐方向:右折/左折の2種類‒ ロボットの進入角度: -60度, -45度, 0度, 45度, 60度‒ 実験回数:各条件につき10回‒ 成功条件:目的の道に進入し、かつ、道に対するロボットの方向のずれが±30度以内である場合

実験対象の分岐路方向設定©Image Processing & Systems Lab.

成功条件
34

Virtual LiDARを用いた分岐路の形状推定の結果

意味論的領域分割結果

Virtual LiDAR信号

道の形状認識結果

画像上での形状推定結果©Image Processing & Systems Lab.

35

実験結果

①

分岐路進入時のロボットの向き
-60度

-45度

0度

45度

60度

右101010100

左310101010

分岐方向②※表中の値: 実験回数10回のうち成功した回数

①左折時

②右折時
©Image Processing & Systems Lab.

36

実験結果
• 分岐方向に大きく傾いた場合に失敗‒ 入力画像内に分岐路の直進方向の道が写らない‒ 元々いた道を目標の道と誤認識してしまう
直進方向+60°©Image Processing & Systems Lab.

37

生田キャンパス内での走行動画

x12©Image Processing & Systems Lab.

38

まとめ• 分岐路の形状推定を用いた方向転換手法を提案• 走行実験により有効性を評価‒入力画像内に直進方向の道が写っている場合◦ 方向転換が可能‒入力画像内に直進方向の道が写っていない場合◦ 方向転換が失敗するケースがある◦ 進行対象の道とその他の道の区別を行う必要がある©Image Processing & Systems Lab.

39

想定される用途• 自律移動・自動運転• Factory Automation• ADAS©Image Processing & Systems Lab.

企業への期待
技術移転分野として、二つの分野を考えている。
①自動車電装品メーカー電装品メーカーへの技術移転が行えれば、自動車分野への展開が可能となる。今後自動運転や運転補助技術を開発中の企業には、本技術の導入が有効と思われる。また人との共生環境で活動するロボット開発を考えている企業にも、本技術の導入が有効と思われる。
②半導体メーカー
本技術を実用化するためには、高性能な組込みプロセッサの存在が不可欠。 プロセッサに強みを持ちつつロボットへのAI実装を可能とするツールとライブラリ等を提供できる半導体メーカーとの共同研究を希望。
©Image Processing & Systems Lab.

本技術に関する知的財産権• 発明の名称：自律移動体制御装置、自律移動体制御方法及びプログラム• 出願番号• 出願人• 発明者：PCT/JP2021/035631：明治大学：宮本龍介、安達美穂©Image Processing & Systems Lab.

お問い合わせ先
明治大学 研究推進部
生田研究知財事務室
ＴＥＬ 044－934－7640
ＦＡＸ 044－934－7917
e-mail tlo-ikuta@mics.meiji.ac.jp©Image Processing & Systems Lab.