技術論文

駐車区画検知のための『Unreal Engine』活用～次世代自動駐車システム実現に向けて～
小久保嘉人

Yoshihito Kokubo

概 要
本稿では,駐車区画認識機能の性能向上/信頼性保証のために,高品質なCGを利用する駐車場シミュレータを開発した事例について紹介する.深層学習活用に求められるCGの品質や,深層学習向けシミュレータ利用における課題と展望について述べる.

1.

はじめに

深層学習技術の急速な進展に伴い,自動車を始め,り,NVIDIA/Microsoft を始めとする多様な企業から自動運転向けシミュレータが提案されている（図1）.

金融や農業等,多様な業種や業界で革新的なアプリ

ただし,これらのシミュレータはいずれも Semantic

ケーションが開発されている.アイシンにおいても,高度Segmentation や Bounding BOX 検出など,汎用的な認識機能が要求される次世代の自動駐車システム開なタスクを扱うために設計されており,本稿で対象とす発など,走行安全領域を中心として,深層学習技術を活る駐車区画検知など,固有のタスクに対しては充分な機用する製品やシステムの開発が進められている.

能を提供できていない.そこで我々は,駐車区画検知タ深層学習は本質的に統計であり,事前の統計情報をスクに特化した駐車場シミュレータの開発に着手した.

学習することで帰納的に得られる分布を利用して,新たな状況の判断を行う.そのため,深層学習機能の性能担保/信頼性向上のためには,如何にして利用想定環境を網羅する学習データが得られるかが重要であり,各社データ収集に莫大な時間と金銭を費やしている.
深層学習を利用する駐車区画検知技術開発においても,学習データの数量や品質に重点をおいて収集しているが,多様な色/形状/かすれ状態の駐車枠に対して,様々な天候条件や時間帯を網羅するデータ量を確保す

図1 市場の自動運転向け汎用シミュレータ(左上)NVIDIA DRIVE Constellation1)(右上)Microsoft Airsim2) (下)Cognata3)

ることは,現実的でない.この課題に対する解決手段として,シミュレーション環境を活用する方法がある.
これまでも車両の制御等にシミュレーション環境を活用することはあったが,深層学習においては,要求される39

2.

開発の観点

CG画像の品質が異なる.一般的に,学習画像と評価画始めに,駐車区画認識向けの駐車場シミュレータ実像の外観の違いが,大幅な認識精度の低下を引き起こ現のため,開発要件を整理した.前提として,自動車の利すことがあり,品質の低いCG画像で学習した深層学習

用環境は多種多様であり,想定シーンの幅広い考慮がモデルでは,実写画像では有効に機能しない.

必要となるため,天候変化や時間変化/日照条件変化な一方で,ゲーム業界では photorealistic (写真のようどは不可欠の要件であるが,これらは市場に存在する自にリアルな描写) なCGの実現が進められており,最先端動運転向けの汎用シミュレータと同様の要件であるたのCGでは,人間の目でも実写の画像であるか,創造されめ,本稿では割愛する.

た画像であるか,判別困難な品質にまで到達している.こ駐車区画認識特有の開発の観点としては,まず,駐車のような最先端のCGから得られる画像を深層学習に活区画形状が膨大に存在することが挙げられる.駐車区画用する取り組みが,自動車業界全体で急速に進展しておとして一般的な単線/二重線/U字/トラロープ以外にも,AISIN TECHNICAL REVIEW VOL.26 2022

また,駐車区画認識においては,実際には他車両によ画を構成する枠線についても,多様な線色/かすれ状態り駐車されている区画についても,空き駐車区画として（トラロープであれば白色劣化/黒色劣化）を考慮しなく正解値付けを実施する必要があるシーンが多発すてはならない（図2）.

る.図4のように,車両の殆どの領域が他車両に遮蔽され技術論文

駐車区
駐駐画
駐検駐知のための『駐駐駐駐駐駐駐Un駐r
駐e駐a駐l駐E駐ng駐駐in駐e駐』活用～次世代自駐駐駐駐駐駐駐駐動駐駐駐車シ駐駐ス
駐テ駐ム実現
駐駐駐駐に駐向駐け駐て～
駐駐駐

百種類以上の形状が既に確認できている.また,駐車区ており,厳密な判定では非空き状態である駐車区画であっても,非空き区画として正解値を付与すると,深層学習にとっては悪影響を及ぼすことがある.

図2

特殊な形状の駐車区画例

市場の自動運転向けシミュレータでは,駐車区画含め,地表のテクスチャは固定されており,自由に設定する

図4

遮蔽により空き駐車区画であると誤認する状況ことはできない.百以上の特殊形状枠について,多様な線色/かすれ状態を包括する規模のCGモデルの構築は

Semantic Segmentation や Bounding BOX 検

困難であることから,駐車場シミュレータとしては,簡単

出においても類似のケースは存在するが,Semanticに駐車区画モデルのレイアウトを切り替え可能であり,Segmentation の場合は無視できる程度の領域である

また,色やかすれ状態を簡易的に制御できることが求めことや,Bounding BOX 検出の場合は対象物の可視られる.

領域を鑑みることで対応できる.一方で駐車区画検出の駐車区画モデル構築にあたり必要となる要件を上述

場合,駐車枠正解値の付与の判断が,駐車枠そのものしたが,他に,正解値の取得についても駐車区画特有のだけでなく,他車両等,他のオブジェクトの状態に依存す特徴を記述する.開発中の深層学習による駐車区画認ることから,こちらについても専用の設計が必要となる.

識では,駐車区画を4点で構成される四角形として捉えている.枠線が遮蔽されていない場合は四隅4点を出力

3.

駐車場シミュレータ

するだけで問題無いが,輪止めや他車両/自車両,或い駐車場シミュレータの開発にあたり,開発プラット

は逆光やレンズ汚れ,地表の土砂などにより枠線の一部フォーム（ゲームエンジン）を選定する必要がある.ゲーが遮蔽されている駐車区画も豊富に存在する.

ムエンジンには,公開されていない開発企業専用のそのような場合には,隅の点の代替として,図3に示すエンジンから,個人が趣味で開発して公開しているエンように,可視部の先端の座標を利用する手段など考えらジンまで多 様 に存 在 するが , 一 般 的 には U n r e a l

れるが,U字枠等の曲線を含む駐車区画形状の存在によEngine4 (UE4) と Unity のシェアが大きく,2大ゲー

り,四隅4点の設定座標から,可視部先端座標を機械的ムエンジンとして認識されている.に導出することは困難であり,専用の設計が必要となる.

UE4 と Unity にはそれぞれ別の強みがあり,UE4は高品質なグラフィックを実現でき,Unity はモバイル向けに作り込まれた機能が豊富に提供されている.深層
学習向けの駐車場シミュレータについては,より高品質なCGモデルを構築できる UE4 の利用が相応しい.また,別の観点として,NVIDIA等が提供する自動運転向け汎用シミュレータでは,CGモデルやシミュレーション機能の実現に UE4 を利用している.製作した駐車場CGを汎用シミュレータで活用することを視野に含め,UE4による駐車場シミュレータを開発した
（図5）.

図3

駐車区画正解値座標例 四隅座標が見えない場合は白線可視部の先端の点を代替座標とする

AISIN TECHNICAL REVIEW VOL.26 2022

40

図6

図8

地表の凹凸表現/濡れ表現変化サンプル画像(上段)白線のかすれ表現 (下段)トラロープの劣化表現

白線のかすれ表現については,劣化要因をひび割れ/剥離/摩耗の3種類に分類し,各要素を独立に制御できるよう実装した.また,トラロープについても,部分的な白色劣化/黒色劣化を自在に表現可能な調整機能を実現した（図8）.
また,駐車区画の正解値出力判断については,深度画像と,CGモデルのカスタムステンシルIDから生成した色分けマスク画像（図9）を利用し,車両の可視領域の
図5

駐車場シミュレータサンプル画像

割合を加味して空き/非空き駐車区画を判断する条件分岐を実装した.

開発駐車場シミュレータの主要機能を紹介する.ここでは,時間変化や日照条件変化,駐車区画線の色変化等の UE4 の基本機能で実現できる機能については割愛する.深層学習用のシミュレータとして外観のバリエーションを豊富に確保するため,図6のように,地表についても凹凸変化や濡れ表現変化機能を付与した.
駐車区画モデルとしては,白線/トラロープの切り替えを含め,四辺をそれぞれ独立に設定可能とし,随時新たな駐車枠形状も追加できるように実装した
（図7）
.

図9

4.

オブジェクトの色分けマスク画像

UE5への移行/photogrammetry技術の活用

駐車場シミュレータの効果検証のため,実画像デー
タセットによる学習モデルと,実画像+CG画像データセットによる学習モデルの精度評価を実施したところ,効果は限定的であり,現時点では,実画像データセットの代替としての活用は難しいことを示す結果が得られ
図741

駐車区画モデルのレイアウト設定例

AISIN TECHNICAL REVIEW VOL.26 2022

た.要因は複数考えられるが,確実に存在する課題とし

図12CG→実写画像変換技術4)の適用結果画像

駐車区駐駐画
駐検駐知のための『駐駐駐駐駐駐駐Un駐r駐e駐a駐l駐E駐ng駐駐in駐e駐』活用～次世代自駐駐駐駐駐駐駐駐動駐駐駐車シ駐駐ス
駐テ駐ム実現
駐駐駐駐に駐向駐け駐て～
駐駐駐技術論文(左)GTA5 (右)変換結果画像て,CGの品質問題がある.例えば,シミュレーション上で調整したかすれ表現は,図10.に示すように,広域画像では全体的に色味が薄くなる効果で描画され,実写画像とは乖離が大きい.これは,CG自体の品質に加え,UE4の描画性能の制限も影響している.即ち,UE4では,遠方に存在するオブジェクトに対して処理の負荷を軽減するため,簡易的な描画が実行される.
図11

photogrammetry によるCGモデル構築結果

これらの研究では,CGを生成する過程で必要となる情報（構造/法線/深度/アルベド/反射/大気）を事前情報
図10 シミュレータ画像と実写画像の比較

として 与 え , 変 換 精 度 を 向 上 さ せ て い る . 我 々は,photogrammetryによるモデル品質改善と,CG→この問題を解消するため,今年度,UE4への後方互換実写画像変換技術適用の両軸で開発を進めている.現性を持つエンジンとしてリリースされたUE5を利用する状の駐車場シミュレータでは,構造情報と深度情報のみ手段があり,駐車場シミュレータの環境移行を進めてい出力しているため,これら全ての中間生成物の画像化/る.UE5では,光学シミュレーション機能や描画処理機出力機能を付加するシミュレータ改修を計画している.

能が大幅に改善され,数十億ポリゴンをリアルタイムに描画可能とする.

6.

おわりに更に,駐車場CGモデルの品質を抜本的に改善するた

本稿では,開発中の駐車シミュレータについて紹介しめ,photogrammetry と呼ばれる,画像やレーザースた.現状では,駐車区画認識向けの機能に特化させていキャナデータからCGモデルを構築する技術の導入も進るが,今後機能を拡張することで,周辺監視機能の開発めている.一眼レフカメラとレーザースキャナを利用し全般に活用可能なシミュレータの構築を目指す.て,アイシン所有の駐車場からデータを取得し, CGモデルを構築した結果を図11に示す.実写画像と見紛う程,高品質なCGモデルの生成を確認できており,次世代の駐車場シミュレータ構築に向け,駐車場全体をCGモデル化する取り組みを進めている.
5.

CG→実写画像変換技術の活用

ところで近代の深層学習では,画像生成に関する技術の発展が目覚ましく,CG→実写画像に関する画像変換技術4)も実用的な変換精度に到達している（図12）.

参考文献
1）NVIDIA 自動運転車両向けシミュレーション: https://www.
nvidia.com/ja-jp/self-driving-cars/simulation/2）Microsoft Airsim: https://microsoft.github.io/AirSim/
3）Cognata 製品紹介ページ: https://www.cognata.com/jp/
4）Stephan R. Richer: Enhancing Photorealism Enhancement(2021)

筆 者

小久保嘉人

先進開発部 技術開発室
自動駐車関連の技術開発/製品開発に従事

AISIN TECHNICAL REVIEW VOL.26 2022

42