extra

高度自動運転、およびADAS向け

センサーデータシミュレーションにゲームエンジンを自動運転シミュレーション© ITK Engineering |Unity Asset Store

ゲームエンジンを用いたセンサーデータのシミュレーション
筆者

Sebastian Wolter, M. Sc.
ITKエンジニアリングGmbH（フランクフルト）インテリジェントシステムの主席エンジニア

高度自動運転車の検証は、非常に重要なテストシナリ
オの件数が無数にあるため、非常に複雑です。 よって、開発の初期段階におえるバーチャルテスト手法の活用がますます重視されています。 ゲーム業界で確立された技術をベースに、リアルな3D環境で行うセンサの検証方法について紹介していきます。



高度自動運転車の高レベルの安全性を達成するには、広範囲にわたるシミュレーションで実走テストをサポートする必要があります。
100万㎞のテスト走行から得た統計値では、発生しうる全ての運転状況を総合的にカバーできるという保証はありません。 加えて、実際の運転を再現したり制御することはできず、リスクのないテストを実施することもできません。
専用のテストコースでの安全性やテスト性は改善されているものの、テストシナリオの件数2には限りがあり、検討にはかなりの工数が必要です。
また、マルチセンサシステムで記録したデータ
では、確かに閉ループテストを実行することはできません。 人工知能を利用し実測値に変更を加える、AI画像変換として知られているデータ拡張手法（例えば遡及的に時刻や気象条件に変更を加えるなど）は現在開発段階ですが、ダイナミックでインタラクティブシーンの実現は非常に難しいと言えます。 [1]シミュレーションによるバーチャルバリデー
ションは、こうした課題に対応でき、より拡張性が高く、地上検証データ（グラウンドトゥルース）を利用入手できるためコスト削減可能なソリューションであると言えます。 さらに、開発の初期段階でバーチャルテストを組み込むことができるため、センサのデータフュージョンを行うにあたりマルチセンサのデータを手作業でラベリングする必要がありません。 バー
チャルバリデーションには、テストシナリオを視覚化する高精度な3D環境と、3D環境に基づきセンサデータの生成が可能なバーチャルセンサモデルが必要です。このように、車のデジタルツインは、シミュレーションされた3D環境という大きな課題に直面しています。 合成
データを生成するには、解像度の高いバーチャル環境で（ドライビングダイナミクスモデルを使用し）車を走行させ、歩行者などの他の移動物や静止物とインタラクションさせます。 こ
れには、3Dシーンの作成と、ダイナミックに移動するオブジェクトの動作をモデル化する必要があります。バーチャルカメラデータの処理には、物理的な原理に則った照明のシミュレーションが不可欠です。それ以外のセンサシミュ
レーションでは、車、アスファルト、縁石などの形状や材料特性を詳細に再現する必要があります。使用するセンサモデルは、ソフトウェアやハードウェアインザループといったテスト環境で使用できるよう、リアルかつ（ほぼリアルタイムに近い）高速演算処理能力が不可欠です。
こうして生成されたデータを処理ロジックからシミュレータ（閉ループ）に流すと、動的に動作するシステムの運転状況や反応を完全に評価するバーチャルテストが可能となります。 このフィードバックができない場合（開ループ）は、個々の状態と判定のみテスト可能です。
いずれの場合も、入力データがリアルであればあるほど、システムが確実に機能するという信頼性の向上につながります。

図1：渋滞している夜間高速走行シミュレーション (© ITK Engineering |Unity Asset Store)ず

ゲーミング技術を活用したリアルな検証
ゲーム業界で確立された技術を用い、幾何学的にリアルな環境でセンサの検証を行います。
その際の3D表現の基盤となるものが、ゲームエンジン（Unity3DまたはUnreal Engine）です。 ゲームエンジンの強みの一つに、数千もの高解像度3Dデータコンテンツを視覚化できるという点があります。 統合された3Dエディ
タと多種多様なファイル形式との互換性により、3Dシーンをスピーディに作成でき、各種ソース（いわゆるアセットマーケットプレイス）から「ドラッグ＆ドロップ」で3Dモデルを統合することができます（図1、図2）。 また、バーチャルカメラを複数台配置しパラメータ化することも可能です。 写実的にリアルな画像表現には、PBR（物理ベースレンダリング）技術[2]が使用されています。

図2：夜間シカが横断中の高速道走行シミュレーション (© ITK Engineering |Unity Asset Store)

最近では、グラフィックスの品質を向上させるため、レイトレーシング手法の活用が増えてきています。 レンズの歪みや被写界深度などの効果は、後処理で組み込むことができますが、独自の効果をカスタム開発することも可能です
が、シェーダプログラミングという分野の専門知識が必要です。
これにより、カメラデータを写実的にシミュレーションする基盤が整います[3]。

カメラとは対照的に、ライダ、超音波、レーダで動作するセンサは、別途センサモデリングが必要です。 ゲームエンジンに組み込まれている物理シミュレーション機能は、シンプルな距離センサをシミュレートする単純なセンサモデリングに対応しています。 この機能は、既知の現象で地上検証データを拡大させる現象論的モデルのモデル化にも使用可能です。

3

自動運転シミュレーション

スピーディに演算処理できるものの、オブジェクトは単純なバウンディングボリュームで近似表現されるだけとなり、カーブにあるガードレールなどの静止物は簡略化されるか、全く表現されないかのいずれかです。 一方、有限要素法（FEM）を用いた波動伝搬の演算処理は物理的な精度は非常に高いものの、リアルタイム性に欠けています。後者の手法は、空間離散化に必要なメモリ使用量が高いた
め、ダイナミックで複雑な環境ではなく、局所的な現象や別の構築手法や導入効果の検討を行う場面で使用されています。

一貫性のあるマルチセンサデータのリアルタイム生成
演算時間と精度を考慮した折衷案がレイトレーシングプロセスに基づく物理モデルです。 物理モデルでは物理的に直接マッピングされるため、複数のレイにより、シーン内の波動伝播をリアルタイムでトラッキングすることが可能です。
バーチャルセンサからシミュレーションされた3D空間にレイが照射され、反射、散乱、透過など物体の表面と相互作用します。 物理モデ
ルを使用し、相対的なドップラー速度、強度、音圧などの物理量を各レイパスと関連付け、シミュレーション時に更新していきます。 この処理は、レイが受信センサに到達するまで継続して行われます。 ここで受信したデータをマージし、後処理モジュールでさらに処理を行ってから外部インタフェース経由で信号処理チェーンの各コンポーネントに転送されます。 ここで注
目すべきは、後でこのデータに対し求められる知覚アルゴリズムを実行できるよう、生データを生成するという点です。
ここで注目すべきは、後でこのデータに対し求められる知覚アルゴリズムを実行できるよう、生データを生成するという点です。 グラフィッ
クスハードウェアと視覚効果の分野における絶え間ない技術革新と、ゲームエンジンソフトウェアのパフォーマンス向上により、生まれた技術です。

物理レーダセンサモデル
レイトレーシング処理によりレーダ信号の生データを生成する場合、シミュレーションによりレーダ波を膨大な量の光線として個別に近似処理します。

4

図3： レーダセンサのシミュレーション (© ITK Engineering I Unity Asset Store)

センサの視野に基づき、3Dシーンに数千の光線が照射されます（図3）。 なかでも、レーダセンサで受信する信号のパワーは、モデル化対象センサのアンテナ特性に左右されます。 他のレイパスの透過時間に応じて、球面膨張によるエネルギーロスを考慮します。 入射角と搬送波の周波数は、物質の相互作用に大きく影響します。
環境/大気パラメータと偏光効果も表現されます。 マルチパス伝播では、利用可能な3Dジオメトリが全て考慮されます。 地面、ガード
レールや壁からの反射による潜在的なゴーストターゲットは、使用した手法により自動生成されるため、現象論的モデルと比較しより大きなメリットがあると言えます（現象論的、物理的レイトレーシング法を取り入れたハイブリッドな手法も可能） 。 相対的なドップラ―速度もマイクロドップラ―レベルで分解されます。 つまり、移動体の相対速度は、相互作用点に応じて変わることを意味します。 例えば、歩行者を例に挙げると、単に体を動かした場合と、手足を動かした場合では、歩く速度が変わってきます。 オブジェクトの分類とモーション近似にとって重要になってくるため、この点をシミュレータでも表現する必要があります。

多重反射（1つの同じオフジェクト上の同じレイパスを複数回トラバースすること）も、直接レイトレーシングプロセスにより分解されます。こうした効果のモデル化は、リアルなセンサデータを生成する上で不可欠です（図4）。

多様な用途シミュレーション手法は、V字モデル全体の開発プロセスにも応用可能です。設計の初期段階でセンサの設置個所を検討するにあたり、レイトレーシングを活用し問題点を洗い出し、レーダを使用した旋回アシストシステムなど適切な設置個所を決定することができます。数台のセンサで簡単に試してから、車周辺の物体を常時視認できるよう再設置することができます。 とりわけ、高度自動運転車では、各種センサ系やセンサ技術の併用が必要となるため、この手法で最適なセンサレイアウトを決定することが可能となります。

さらに、実測を行いラベリングを行う前に、アルゴリズム開発時には繰り返しデータが必要になります。 例えば、電動スクーターや自転車、歩行者といった物
体認識機能を開発する際、マイクロドップラ―センサのデータを認識用に利用することができます。

図4： 高速走行のシミュレーション例

レーダ射程ドップラ―（左）、ポジションプラン（右） (© ITK Engineering |Unity Asset Store)

マルチセンサシステムから取得できるように、センサフュージョンアルゴリズムの開発に必要な整合性の取れたデータを生成することが可能です。
バリデーションの面では、この手法によりX-in-the-loopテストプロシージャに関する様々なレベルのデータを提供します。
機能テストでは地上検証データおよびオブジェクトデータを使用でき、オブジェクトの認識にはピクセルデータまたは点群データが必要です。その他知覚アルゴリズムには環境データおよび機能データ、さらに特定のセンサタイプの信号が必要です。
また、この手法ではテストシナリオを自動的に変更できるため、膨大な件数のプロシージャシナリオのバリエーションからボーダーラインのケースを効率よく特定することが可能です。

IMPRINT:Special Edition 2021 in cooperationwith ITK Engineering GmbH,
Lochhamer Straße 15, 82152 Martinsried;
Springer Fachmedien WiesbadenGmbH,
Postfach 1546, 65173 Wiesbaden,
Amtsgericht Wiesbaden, HRB 9754, USt-ldNr. DE811484199

結論および今後の見通し

ゲーミング手法を活用し、定性的に合成されたセンサデータを用いてラピッドプロトタイピン
グでテストパターンのシミュレーションや作成を行うリアルなカスタムメードの3D環境を作成することが可能です。
従来の数値計算法と現象論的モデルのギャップを埋める役割を物理センサモデルが行います。ゲームエンジンの使用は、今後のハードウェア、ソフトウェア開発に直接的なメリットをもたらす可能性があります。 開発の初期段階で、実車テストを補完するスケーラブルなテストをバーチャルに実行することができるため、安全な高自動運転機能の開発が可能となります。

MANAGING DIRECTORS:
Stefanie Burgmaier |Andreas Funk |Joachim Krieger

参考文献
1Liu, M.-Y.; Breuel, T.; Kautz, J.: Unsupervised
Image-to-Image Translation Networks. Neural Information Processing Systems annual meeting (NIPS),
2017
2Pharr, M.; Jakob, W.; Humphreys, G.: Physically
Based Rendering: From Theory to Implementation.
Morgan Kaufmann: Burlington, 2016
3Mayer, N.; Ilg, E.; Fischer, P.; Hazirbas, C.;
Cremers, D.; Dosovitskiy, A.; Brox, T.: What Makes
Good Synthetic Training Data for Learning Disparity
and Optical Flow Estimation? In: International Journal of Computer Vision 2018, No. 126, pp. 942-960

Theoriginal Germanversion of this article appears in „ATZextra
Automotive Engineering Partners“ in June2021

PROJECT MANAGEMENT: Anja Trabusch
COVER PHOTO: © hutterstock/metamorworks

5

ITK Engineering
1994年の創業以来、当社は「安定性」「信頼性」「専門的な手法」を体現してきました。取引先企業には、当社の異業種にまたがる専門的なノウハウ（特に制御システム設計およびモデルベース設計分野）を常に提供してきました。 概念設計から導入に至るまで開発プロセス全体に対応している当社にお任せください。

ITKの専門分野：
ソフトウェア開発

ターンキーシステム

ハードウェア開発

お客様に合わせた開発

E/Eシステム

技術コンサルティング

システム統合セミナー

ソフトウェア製品（SaaP）

品質保証

当社の企業理念は、お客様の満足と、お互いを尊重した協力関係を築くこと
V.1.0.0_e_2021

であり、そこには4つの価値観がしっかりと根付いています。詳細については当社HPでご確認ください。

ITK Engineering GmbH
Headquarters: Ruelzheim
Im Speyerer Tal 6
76761 Ruelzheim, Germany
T: + 49 (0)7272 7703-0
F: + 49 (0)7272 7703-100
info@itk-engineering.com
www.itk-engineering.com
www.itk-career.com

Founded in 1994
Branch offices throughout
Germany – ITK companies
worldwide.

Follow uson: