2021春のADAM発表会
自動走行領域 ワークショップ
式次第 開会あいさつ 概要報告 伊東 敏夫（システム理工学部機械制御システム学科 教授）「シニアカーを自動運転化する自動運転セットボックスの開発」
 廣瀬 敏也（工学部機械機能工学科 准教授）
「シニアカーの自動運転に向けた歩道を対象とした高精度3次元地図の構築に関する研究」
 平川 豊（工学部情報工学科 教授）「位置情報を利用した自転車の接近検知手法」
 飯塚 浩二郎（システム理工学部機械制御システム学科 教授）「ハンドル型電動車いす(シニアカー)の段差乗り越え機構の検討」
 個別研究報告（メインルームのオンライン部屋（BOR）で実施）
 懇談（伊東・廣瀬）（個別研究報告と並列に会議ルームを開設）※1待機室から順番に入室 ※2ご所属・お名前表示願います 閉会あいさつ （16:55から）

自動運転シニアカー

Shibaura Institute of Technology
Advanced Driver Assistance Systems Lab

シニアカーを自動運転化する自動運転セットボックスの開発
芝浦工業大学 システム理工学部 機械制御システム学科
運転支援システム研究室
伊東 敏夫 (tosi-ito@shibaura-it.ac.jp)

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

目次
1. 背景
2. 目的
3. 自動運転セットボックス
4. SLAM5. 障害物認識
6. 制御システム

概要報告後各BORで詳細報告
 BOR_6.シニアカー自動運転

6. 歩行者認識

 BOR_7.運転特性

7. フュージョン手法

 BOR_8. レーダー・フュージョン

8. 信号認識9. 心拍計測

 BOR_9. 画像処理深層学習

10. 走行経路生成
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

１．背景
近年より高度な自動運転へ期待が高まっている→自力での移動が困難な高齢者や身体障害者にとって有益 高速道路，一般道の順で段階的な導入が見込まれている 高級車から*

体の不自由な人が日常生活で気軽に使用できるまで時間がかかる*Research of trend of automatic driving Leagal and regulatory viewpoint from ITS(Kitamura)

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

２-１．目的
高齢者向けに作られた一人乗り用バッテリーカー(シニアカー)を自律移動モビリティ化＊ 最高速度：時速６km(軽いジョギング程度)＊ 歩行者扱い(歩道通行，ヘルメットの着用義務なし)＊ 免許なしで運転可能＊ 消費税がかからない＊ 誰でも購入可能＊ 手軽に操作可能＊ 電気で動く多くの人が気軽に利用可能
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

２-２．目的

利用シーン＊高齢者の方が家から病院へ行く＊身体障害者が近くの公園まで散歩に行くなど…

全ての人が日常生活で気軽に、自由に移動可能
たまには外へ行って気分転換したい…

病院に行きたいけど移動手段がない…

この自動運転車なら気軽に屋外へ行ける！

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_6.シニアカー自動運転

３-１．自動運転セットボックス

自動運転セットボックスの紹介
・既存のシニアカーに装着→加工不要な構造なので誰でも装着可能
・購入品＆フリーウェアのみで製作→誰でも使用可能
・後付けで自動化→価格を安く抑えることが可能

より多くの人に自動運転を提供することが可能
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

３-２．自動運転セットボックス

BOR_6.シニアカー自動運転

実験車両の紹介

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

４-１．SLAM(Simultaneous Locatlization And Mapping)

BOR_6

自己位置システム
3D LiDARによるLiDAR SLAM
目印の位置

地図データ
比較する

自車の位置

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

４-２．SLAM

BOR_6.シニアカー自動運転

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_8. レーダー・フュージョン

５．障害物認識

LiDARによる障害物認識システム
1.LiDAR点群データ

2.Kd-treeによるクラスタリング

3.停止するか判断

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

６．制御システム

BOR_6.シニアカー自動運転
自己位置から座標と経路の行き先

自己位置と経路の参照
1. 「今どこにいるか」
2. 「どこに行きたいか」

周囲を検査

障害物が存在するか？
速度とステアリング角度計算
３.「ここからそこまでどのような移動するか」コントローラ
5.「アクセルとステアリングモーターを制御」

障害物検出
４.「前方に障害物が存在」

コントローラの入力

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_9. 画像処理深層学習

７-１．歩行者認識
全方位カメラによる歩行者の認識

利点
・ 1台で周囲の環境すべてを見ることができる
欠点

全方位カメラとその画像・ 歪みが存在する
・ 物体の変化が激しい(物体が小さく映りやすい)・ 物体の分裂を招く可能性がある.

パノラマ変換しても, 物体は小さく映ったまま.
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_9. 画像処理深層学習

７-２．歩行者認識
歩行者検出精度の向上
結果小さく映る人(遠くにいる人)は全方位画像中の中段付
近に出現しやすい.
拡大
真ん中下付近を切り取り,拡大することで小さな人も大きく見える.
従来よりも認識精度が向上した.

拡大した画像を深層学習の物体の予測に混ぜる.
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

７-１．フュージョン手法①

BOR_8. レーダー・フュージョン

 ３D LiDARは外界認識センサーとして、障害物や車の位置と周囲環境の認識が重要 遠距離の物体に対してはLiDAR点群データがスパースになる

実環境に低コストで導入認識手法が豊富に存在

単眼カメラを用いて点群欠損補間手法を提案
Web-camera 640 x 480
frequency: 30 fps

Velodyne VLP16
frequency: 10 Hz＋センサーフュージョン

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_8. レーダー・フュージョン

７-２．フュージョン手法①
 オプティカルフローを用いて、相対運動から画像特徴点の奥行情報を算出

画像特徴点変換した補間点

 逆投影変換を用いて、画像の特徴点から三次元空間点に変換
Image plane

World CoordinateZ（ x3 , y3, z ）（x2 , y2）

vxd2＝Z
Uy

画像データと点群データをフュージョンする
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_8. レーダー・フュージョン

７-３．フュージョン手法②

前フレームの点群からトラッキングされた点

LiDAR点群をカメラの色情報をもとにトラッキング
点群データ

フレーム(t )色情報

フレーム(t-1)

LiDAR

距離情報から探索範囲を決定
横方向：画像の幅✕

1

距離1
高さ方向：画像の高さ✕
距離𝐻𝐻

ℎ1

𝑑𝑑1

𝑓𝑓

カメラ

現フレームの点群からキャリブレーションされた点

𝑑𝑑2

ℎ2

𝑓𝑓

色情報からマッチングする点を探索
RGBを3次元ベクトルとして扱う
cos 𝜃𝜃 =𝑅𝑅𝑎𝑎 𝑅𝑅𝑏𝑏 + 𝐺𝐺𝑎𝑎 𝐺𝐺𝑏𝑏 + 𝐵𝐵𝑎𝑎 𝐵𝐵𝑏𝑏

𝑅𝑅𝑎𝑎 2 +𝐺𝐺𝑎𝑎 2 +𝐵𝐵𝑎𝑎 2 𝑅𝑅𝑏𝑏 2 +𝐺𝐺𝑏𝑏 2 +𝐵𝐵𝑏𝑏 2(𝑅𝑅𝑎𝑎 , 𝐺𝐺𝑎𝑎 , 𝐵𝐵𝑎𝑎 ) と (𝑅𝑅𝑏𝑏 , 𝐺𝐺𝑏𝑏 , 𝐵𝐵𝑏𝑏 )のなす角𝜃𝜃が最も小さい点にマッチング

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_8. レーダー・フュージョン

７-４．フュージョン手法②

現フレームの点群からキャリブレーションされた点
前フレームの点群からトラッキングされた点
①

②

③

④

⑤

フレーム⑤では実際の点はない
前フレームからのトラッキングで補間できている

遠距離においてもLiDAR点群による形状の認識が可能となるAdvanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_9. 画像処理深層学習

８．信号認識前述の歩行者のときと同様の問題に加えて，信号機は比較的小さな物体であり，検出が困難
全方位画像を分割して補正して，入力にすることで拡大しながら，全方位画像の問題点を軽減

扇形に分割方向・形状を補正

ニューラルネットワーク

検出

Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_6.シニアカー自動運転

９．心拍計測搭乗者の心拍をミリ波レーダで計測し体調をモニタリング
異常があれば周囲に知らせる
行先を病院に変更するなど対応
Advanced Driver Assistance Systems Laboratory

自動運転シニアカー

BOR_6.シニアカー自動運転

１０・走行経路生成動的障害物や群衆を認識して、その行動を予測し回避行動を行いながら群衆中での走行を可能にする経路を生成
出発点
群衆

群衆

目的地
生成された
群衆回避の走行経路

一般的に経路生成で用いられるポテンシャル法は動的環境変化に対応することは困難
群衆や動的障害物の進行方向へ障害物のポテンシャル場を延長させ回避経路を再生成

群衆や動的障害物を回避して安全に目的地までの走行が可能

Advanced Driver Assistance Systems Laboratory自動運転シニアカー

BOR_7.運転特性
 自動運転から手動運転への操作主権移動時におけるライバ状態と反応時間の比較

ド ドライバの運転操作特性を考慮した覚醒度維持手法
 操縦性向上および負担軽減を目的としたサイドビューモニタの配置
 運転特性を考慮した一般道路におけるドライバの状態推定
 操舵トルク変化のドライバの脳波への影響

Advanced Driver Assistance Systems Laboratory