2021.2.4 _卒業研究発表_20INO04
先進自動車研究所 令和２年度報告資料

仮想映像によるドライバ操作反応と仮想白線の重畳に関する研究
A Study on Driver Operation Response to Virtual Imageand on Virtual White Line Superimposition
1731044 渡邉知希

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

1

背景・目的◼ 自発光中間膜ガラス技術とは？

図１ 中間膜自発光ガラス※1

図2 プロジェクタ◼ 目的・本技術の自動車フロントガラスでの２つの利用価値の開発・検証① 仮想映像による実車ドライバ操作反応評価への利用② 車線視界を支援する仮想白線と実白線の重畳技術の可能性※1：積水化学工業株式会社-自動車フロントガラスに表示する情報量の増加に対応した中間膜の開発について(https://www.sekisui.co.jp/news/2015/1274415_23166.html)

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

2

① 仮想映像による実車ドライバ操作反応評価への利用◼ 実験車両のシステム構成
・実車状態で動くドライビングシミュレータ → Vehicle in the Loop （ViL） system
・ IMU，車速センサによる車両自己位置をMicroAutoBox(MABX)にて計算．
→リアルタイムシミュレータXPACK4を介して，IPG-CakMakerに入力し動的な仮想映像を生成．→ Immersaview warpソフトにより曲面ガラスに合うように歪補正．
→プロジェクターにて投影．

Real time simulator

図3：ViLのシステム構成
Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

3

① 仮想映像による実車ドライバ操作反応評価への利用◼ 駐車車両からの歩行者飛出し実験で評価

TTC(衝突余裕時間)＝2.0[s]・実物実験と仮想映像ViL実験で，ドライバの感じ方に差がでるのか？
を評価

実物での実験
Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

仮想映像での実験
4

① 仮想映像による実車ドライバ操作反応評価；実験結果◼ 実験結果の比較
図4：仮想映像のほうが約10mほど早く反応していて，傾きが大きい→急ブレーキをしている．

図5：仮想映像のほうが約2m回避が早い．

図4:Xc-Xacc graph

図6：仮想映像のほうが約3倍操舵角が大きい．

◼ 考察
・仮想映像のほうが障害物や歩行者との距離を近くに感じている・データは完全には一致していない

図5:Xc-Yc graph◼ 評価利用への有効性
・仮想映像実験は，緊迫感のある実験に効果的・ドライバにヒヤリハットシーンとして教示することにおいては有効
Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

図6:Xc-Steer angle graph5

② 白線重畳技術；重畳方法の見直し◼ カメラ画像認識によるシステムの見直し
・Web camera出力を，Pyｔｈon言語にて，白線認識・重畳表示するアルゴリズムを作製

図7 システム構成
ViLシステム：車両情報からの値を使った物理演算

今回使用したシステム：人間と同じ知覚情報を使用
Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

6

② 白線重畳技術；カメラ認識方法
WEBカメラから画像を取得する．

サンプリングポイント（白水平線）

画像の最下方のサンプリングポイントから水平方向白線探索開始．

水平方向探索範囲を決定する．
最下方のサンプリングポイントは画像中央から左右に走査．
上位のサンプリングポイントは，下位の走査結果による白線位置を考慮して，走査開始位置や範囲を調整（カーブに対応）

水平線方向探索範囲
左側走査方向

右側走査方向

左側走査範囲

右側走査範囲画像下側のサンプリングポイントから順次水平方向探索

サンプリングポイントの画像１行をグレースケール変換し，水平方向探索範囲の輝度配列を作成する．

(階調)
250

輝度配列を走査し，２ピクセル分の輝度上昇量が閾値を上回った
点を白線開始位置とし，白線開始後の輝度下降量が閾値を下回った点を白線終了位置とする．

輝度配列
白線白線終了位置200150100500

走査方向

白線開始位置1132537496173
85
97109
121
133
145
157
169
181
193
205
217229241253
265
277289301
313

全サンプリングポイントについて繰り返す．

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

(インデックス)7

② 白線重畳技術；カメラ認識結果

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

8

② 白線重畳技術；カメラ認識の重畳方法
プロジェクタ投影用画像（黒背景）を作成し，認識した白線を描画する．

プロジェクタ投影用画像 ※抜粋(射影変換前)WEBカメラ入力画像 (射影変換前)射影変換
プロジェクタ投影用画像を射影変換する．
現状はドライバ目線位置のスマホカメラの視点に合わせて，以下の固定的な座標変換を実施．

プロジェクタ投影用画像 ※抜粋(射影変換後)WEBカメラ入力画像 (射影変換後)

画像左上： [0, 0] ⇒ [-100, 120]
画像右下： [640, 80] ⇒ [710, 250]
画像右上： [640, 0] ⇒ [740, -20]
画像左下： [0, 80] ⇒ [-170, 350]

プロジェクタ画面サイズに合わせてプロジェクタ投影用背景画像（黒背景）を作成し，射影変換後の画像を張り付ける．

最終的なプロジェクタ投影画像プロジェクタ投影用画像を表示する．

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

9

② 白線重畳技術；カメラ認識の重畳結果

白線重畳実験の様子
Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

10

まとめと今後
・映像実験では，緊迫感のある実験ができる→ドライバにヒヤリハットシーンとして教示することにおいては有効・仮想白線は知覚情報を使用することで自然に重畳できる
今後・重畳時の焦点距離による視覚誤差を減らす．
・視界不良の時に白線をドライバに見せることで安全に運転ができるか検証
・白線重畳と合わせてさらにリアリティのあるViLが作れるか検討
・ドライバの目の位置の決定方法，カメラだけではない前方認識知覚情報の取得方法の検討

Kanagawa Institute of Technology, Vehicle System Engineering Dept., AD/ADAS Lab.

11