サラウンド・ビューと自動パーキング・システムの360度視野John Smrstik
Product Marketing
Jacinto™ Processors
Aish Dubey
Systems Engineer
Jacinto Processors
Texas Instrumentsはじめに深夜に帰宅し、自転車、スポーツ用品、ガーデニング用具でいっぱいのガレージへ。その夜、車を入れるスペースがあるといいのですが。
雨の降る寒い朝、オフィスの駐車場はほぼ満杯です。わずかな空きは入り口からはるか遠くにしかないようです。
金曜日の夜、街に出かけます。楽しい夜になるかどうかは、たった1つの空きスペースにうまく駐車でき、さらに車から降りられるかどうかにかかっています。

これらは、急いでいたり、風雨を避けようとしていたり、ちょっこのホワイト・ペーパーでは、 車 載 機 器メーカーが TIのとした便利さを求めていたりするドライバーをイライラさせる

Jacinto TDA4VMデバイスを使って、パーキング・アシストや状況の例です。幸いなことに、自動運転機能があればこのよ

完全自動パーキング機能向けのADASアプリケーションをどうなイライラはなくなり、駐車などのありふれた場面でも、快のように構築できるかを説明します。車載用市場の全セグメ

適で楽しい運転体験が得られるようになります。

ント（小型車、中型車、大型車、高級車）にわたって、このようなシステムの技術要件をJacinto TDA4VMシリコン・デバ

基本的なサラウンド・ビュー・システムでは、ドライバーに視イスおよびソフトウェア・プラットフォームに対応付け、安全覚的な手がかりを与え、より多くの情報を提供することで、周で快適な完全自動パーキングに必要な技術の導入方法を説

囲の状況を的確に認識できるようにします。車載カメラでキャ明します。

プチャされたビデオ・イメージに深層学習を適用することにより、空き駐車スペースの探索、駐車プロセスの自動化、無人の「自動バレー・パーキング」機能の実現など、洗練された自動パーキングとパーキング・アシスト・システムサービスが可能になります。

パーキング・アシスト・システムは、システムの機能に基づき、このような自動化機能（複数カメラ入力、視覚認知、シーン生3つの基本クラスに分けることができます。表1に、各クラスの成などを含む）には、車両内に強力な処理機能が必要になり概要を示します。

ます。ADAS（先進運転支援システム）アプリケーション用の基本的なサラウンド・ビュー・システムでは複数のカメラ入力

プロセッサは、何メガバイトものビジュアル・データや他のセを使用し、ドライバーに車両周辺の360度ビューを提供しまンサ・データを結合し、自動車用に解釈された周囲状況デーす。カメラ入力は、車を中心にした鳥瞰図1枚へとつなぎ合わタを生成できる必要があります。このデータは、有人 /無人せて合成されます。このイメージは人手による駐車を支援す

で自動車が安全に低速走行できるよう十分に信頼性の高いる視覚情報としてドライバーに提供されます。さらに、他のデータでなければなりません。テキサス・インスツルメンツ

物体、縁石、駐車場に引かれたラインなどからの相対的な車（TI）は、まさにこの課題に対処するために、Jacinto™ 7プロ

両位置を示すオーバーレイを使って、サラウンド・ビュー・イセッサ・ファミリを設計しました。

サラウンド・ビューと自動パーキング・システムの360度視野メージを改善します。

22020

システム種別

機能説明

サラウンド・ビュー・ ド ラ イバー に 車 両 周 辺 のシステム

使用センサの個数と種類

必要なアルゴリズム• カメラ4 〜 6台

• GPU と DSP を ベ ース とした2D/3D ビュー生成• 限 定 的 な3D ビュー 生 成 の360度2D/3Dビューを提供、（サラウンド・ビュー・ 人手による駐車をアシスト
モニタリング

必要なデバイス機能• 組み込み ISP• ビュー生成用 GPU/HWA

ために専用のハードウェア・ともいう）

アクセラレータを使用できる場合もある

半自動ドライバーが空きスペース

セルフ・パーキングを特定。車両が縦列 / 直角駐車スペースへの駐車作業を引き継ぐ。システムは自動「出車」にも対応。最終的なシステム・コントロールはドライバーに委ねられる。

• カメラ4 〜 6台
• ソナー・センサ6 〜 12台• 短距離レーダー・センサ4〜 6台• 慣性測定ユニット（IMU）• 位置推定ハードウェア/ ソ• 駐車スポット / レーンの検出• 低速での近接場 / 遠距離場の物体検出 / 分類
• 同 時 位 置 推 定 マッピ ング（SLAM）• 所定の地図と運転条件に対する L4レベルの経路計画• 車両動作記録のためのビデフトウェア

オ・ストリームのエンコード/ デコード完全自動バレー・パーキング

整備された駐車エリアや駐 • カメラ4 〜 6台
車場で、車両が自律的に駐 • ソナー・センサ6 〜 12台車、出車を行える。車両が • 短距離レーダー 4 〜 6台
空きスポットを識別できる。 • IMU
ドライバーはこのプロセス • 位置推定ハードウェア/のどの部分でも車両のコンソフトウェアトロールを行わない。

• 駐車スポット / レーンの検出• 低速での近接場 / 遠距離場の物体検出 / 分類
• SLAM• 車両動作記録のためのビデオ・ストリームのエンコード/ デコード• 組み込み ISP• ビジュアル・アナリティクスと CNN（畳み込みニューラル・ネットワーク）
処理用の組み込み HWA• 限定的なセンサ・フュージョンとデシジョン通信用の ASIL-D 処理• GPU• 汎用で限定的性能の経路計画とセンサ・フュージョン用の MCU（ASIL-B）
DMIPS• ASIL-D SLAM
• 組み込み ISP• ビジュアル・アナリティクス、経路計画、CNN 処理用の組み込み HWA• フルスコープ・センサ・フュージョン
用の ASIL-D 処理• 経路計画用 ASIL-D DMIPS• オンチップ・ビデオ・エンコーダ

表 1：サラウンド・ビューと自動パーキングのアプリケーションと要件

次のクラスのパーキング・アシスト・システムは、半自動セル

基本的なサラウンド・ビューから完全自動バレー・パーキン

フ・パーキング・システムです。このシステムでは、カメラ、超グまでの各シナリオでは、レベルが上がるごとに必要なセン音波、位置情報を組み合わせ、より詳細な車両周辺環境情報サ、データ、そしてデータ処理が増えていきます。このようなを構築することで、ある程度の駐車自動化を実現します。こアプリケーションを実現するために開発されるSoC（システの情報に基づいて、車両が基本的なパーキング作業を引き継

ム・オン・チップ）には、次のものが必要です。

ぎ、ステアリング、ブレーキ、アクセル、ギアシフトを制御しな●

イメージ入力パイプライン処理

●

汎用処理

●

深層学習作業用の専用アクセラレータ●

オーバーレイ付きイメージ生成のためのグラフィック処理●システムの安全な動作を保証するための安全性要求レベ

がら、自動操縦による縦列 / 直角駐車スペースへの駐車（または出車）を行うことができます。このようなシナリオでは、最初にドライバーが空きスペースを見つけ、システムを完全にコントロールしたまま、必要に応じて自動パーキング作業を引き継ぎます。
完全自動バレー・パーキング・システムでは、さらに次の段階

ル（ASIL）に対応した処理に進み、整備された駐車エリアであれば車両が完全に自動的に駐車 /出車を行うことができます。ドライバーは、空きスペースを見つける段階から、駐車プロセス全体の制御を車両

表1には、各システム・クラスで必要なアルゴリズムとオンチップに委ねます。このアプリケーションでは、安全かつ高い信頼機能を示しています。DLTOPS（1秒間に深層学習演算を1兆性で駐車タスクを自動的に実行するために、より多くのセンサ回実行する単位）、DMIPS（1秒間に演算を100万回実行する入力と、より高度に洗練された処理およびアルゴリズムが必単位）、GFLOPS（1秒間に浮動小数点演算を10億回実行する要になります。

単位）、またはイメージ・シグナル・プロセッサ（ISP）やハードウェア・アクセラレータ（HWA）エンジンのメガピクセル処理能力など、これらの各機能に要求される絶対性能によって、システムの種類をさらに細かいセグメントに分類することもできます。

サラウンド・ビューと自動パーキング・システムの360度視野

3

2020

サラウンド・ビューと自動パーキングの課題に

表2に、簡単なサラウンド・ビュー・モニタリング・アプリケー対応する Jacintoファミリの TDA4VM プロセッサ

ションや、より複雑な自動バレー・パーキングの事例で使用される、典型的な処理ステップとIPコンポーネントを記載し表1の情報から推測されるように、このような機能を生産車ました。

両に導入するタスクを与えられた、自動車メーカーやティア1サプライヤのシステム・アーキテクトやビジネス・チームには、いくつかの課題が待ち受けています。まず、自動車メーカー

処理ステップには、エコノミー車には簡易サラウンド機能、中型 / 高級車

イメージ・キャプチャ

SoC IP コンポーネント
画像処理入出力（カメラ・シリアル・インターフェイス [CSI]-2）には順次高レベルのインサイトと自律性など、全モデルにわ
画像処理

たってさまざまな機能の提供が望まれます。各モデルには、ISPとビジョン・アクセラレーション部品それぞれ異なる経済的事情があります。エコノミー・モデル

特徴抽出用分析処理

DSPと深層学習アクセラレータ

わけにはいきません。新しいソフトウェアの開発 / 検証を行う

フュージョン処理

汎用プロセッサ、MCUためのプロセッサ・プラットフォームをモデルごとに変更する（マルチセンサ入力から）のには、時間もコストもかかります。

表示画像作成GPU

ティア1サプライヤは、基本となるデザインにセンサとカメラディスプレイ出力

マルチディスプレイ・サブシステムにハイエンドの高級モデルと同じ種類の電子機器を搭載するを追加するだけでローエンド車両からハイエンド車両まで対
表 2：サラウンド・ビューと自動パーキング・アプリケーションの処理ステップと使用される SoC IP

応できるようなソリューションを実現するために、共通のアプローチを提供するプラットフォームを求めています。
ハードウェ
ア/ソフトウェア資産を再利用すれば、研究開発費を最小限

このヘテロジニアス・アプローチには、各種類のプロセッサ・に抑え、さまざまな製品バリエーションを迅速に市場投入すコアまたはアクセラレータに対応した専用のソフトウェアがるために必要な、高いエンジニアリング効率が達成されます。

必要です。コアに対して最適化された低レベル・ソフトウェ

Jacinto TDA4VMプロセッサ・ファミリとTIのプロセッサ

ア・スタックを抽象化し、高レベルのソフトウェア概念を使SDK（ソフトウェア開発キット）の組み合わせは、この問題を用することで、開発を簡素化し、高性能コアを利用できます。

解決する新しい方法をOEMやティア1サプライヤに提供しOpenVXは、そのようなソフトウェア・フレームワークの1つでます。これらのデバイスには、消費電力を管理しながら高いす。オープンで、ロイヤルティ・フリーなフレームワークであり、アプリケーション性能を提供するためにヘテロジニアス・プ

リアルタイムの組み込みビジョン処理用に設計されています。

ロセッシングが搭載され、熱やサイズに制約のある組み込みTIのプロセッサ SDKでは、OpenVXベースのサンプルを使スペースでの使用に適しています。TIのJacinto TDA4VM

用し、SDKのソフトウェア部品を活用してサラウンド・ビュー・

SoC は、ハードウェア・アクセラレーション、カスタム・プロセッ

モニタリングなどのアプリケーションを作成する方法を紹介しサ・コア、信号処理プロセッサ、汎用プロセッサ、マイクロコています。

ントローラ（MCU）を使用して、効率の高いシステム・ソリューションの設計を支援します。TI では、特定の問題を解決し、幅広い範囲の最終システム要件に適合できるように、各 IP（知的財産）コンポーネントを選び、設計しました。

サラウンド・ビューと自動パーキング・システムの360度視野

42020

すべてを一体化：Jacinto TDA4VM SoC

TI では TDA4VM SoC の設計に際して、このようなアプリケーション要件のすべてを検討しました。システムの理解にパーキング・アシストと自動パーキングの基本的なアプリケー基づき、効率良く柔軟で簡単に使えるソリューション提供をション要件には、カメラやイメージ・センサからデータを取得目標として、TDA4VM SoC はキャプチャ、プロセッシング、し、処理ステージ用にデータを準備するための専用機能が必

レンダリングの各要件に対応するコンポーネントを内蔵してい要です。処理ステージは、イメージ・データを受け取り、分析ます。設計上の主要な選択事項の1つとして、処理システムをと深層学習アルゴリズムを実行してパーキング・アプリケー高効率で動作させながら、十分なローカル・メモリと高速外ション関連の重要な特徴を抽出します。このステージでは他部メモリへの適切なアクセスを確保するために、処理要件とのセンサからのデータを統合（フュージョン）して包括的な車データ要件のバランスが必要でした。

両周辺状況データを作成し、それを意思決定（この場合、車を安全に操縦して駐車スペースに駐車 /出車すること）用の図1に、サラウンド・ビューのユースケースでの TDA4VMデアプリケーションに提供します。最終ステップでは、イメージ・バイスの単純化したブロック図を示します。ビデオと他のセデータをドライバーに直感的な方法で表示して、車両を安全ンサ入力、ディスプレイ出力、圧縮ビデオ・ファイル用のストに操作できるよう支援します。後で確認できるようにビデオ・レージへのアクセスが示されています。表3では、サラウンド・データを保存しておくことも、特に完全自動化の状況では、ビューと自動パーキング・アプリケーションの各処理ステー必要なステップです。これらのステップはすべて、冗長性がジ、そして、これらの処理ステージをサポートするTDA4VMあり、ミッション・クリティカルな機能を他の動作から論理的デバイスの重要な特 徴を説明しています。前述のとおり、（または物理的）に分離できる、機能的に安全な環境で実行TDA4VMデバイスは、このようなパーキング・アプリケーショされる必要があります。

ンに対応した非常に包括的な「システム・オン・チップ」です。

図 1：TDA4VM ベースの単純化されたサラウンド・ビュー・システム

サラウンド・ビューと自動パーキング・システムの360度視野52020

サラウンド・ビュー / 自動パーキング・アプリケーションのステージ

TDA4VM SoC の特徴

イメージ・データ・キャプチャ• 低電圧差動信号カメラ用 CSI-2インターフェイス• Ethernet ベースのカメラ用の Ethernet• 第7世代 TI ISP• レンズ歪み補正用ハードウェア・アクセラレータ• ノイズ・フィルタ・ハードウェア・アクセラレータ• マルチスカラ・ハードウェア・アクセラレータ

センサ・フュージョンと分析処理• C66x、C7x DSP コア• 深層学習アプリケーション用の密結合マトリクス乗算アクセラレータ• デンス・オプティカル・フロー・ハードウェア・アクセラレータ• ステレオ深度エンジン・ハードウェア・アクセラレータ• Arm® Cortex®-A72 CPU2個• Arm Cortex-R5F MCU 4個• CAN-FD、UART インターフェイス• 大容量内部共有メモリ（8MB）• 高効率、広帯域オンチップ・ファブリック
• LPDDR（ローパワー・ダブル・データ・レート）4、ピーク帯域幅17Gbps

画像表示と保存• 画像処理 GE8430 GPU コア（100GFLOPS）• H.264エンコード・ハードウェア• H.265デコード・ハードウェア• 解像度4K/2.5K のビデオ・ディスプレイ出力

安全性とセキュリティ• デュアル・ロック・ステップ R5F MCU（ASIL-C セーフティ・アイランド）• IP セキュリティおよび侵入 / 攻撃からの保護に対するシステム・アプローチ

表 3：サラウンド・ビュー・アプリケーションの各ステージと対応する TDA4VM デバイス機能

チップ・ソリューションは、チップに伴うソフトウェア環境

Jacinto TDA4は、計画中のデバイス・ファミリで、TDA4VMが あって 初めて完 全なものになります。TDA4VM SoCはその最初のデバイスです。このプロセッサ・ファミリの他は、LinuxとTIのリアルタイム・オペレーティング・システムのメンバには、同じチップ・レベルIPのさまざまな組み合わ（RTOS）カーネルに対応した包括的なソフトウェア・キットでせが含まれる予定で、分析主体のアプリケーションから、エサポートされます。プロセッサ SDKと呼ばれるこれらのキッコノミー・クラス車両向けのコスト最適化ソリューションまで、トには、必要な一連のドライバ、オペレーティング・システム・ADAS 市場の隅々へと最適化された製品を提供します。こカーネル、アプリケーション・ライブラリ、ブート・サンプル、れらのデバイスは同じ基本ハードウェアIPとソフトウェア・テOpenVXベースのアプリケーション・フレームワークに加えて、クノロジーから構築されるので、デバイス間の互換性はそのま実際のシステム・アプリケーションでのソフトウェアとハードま保たれています。1つのデバイスに対応して開発されたソフウェアの使い方を説明するアプリケーション例が含まれていトウェア資産をスケーリングして、ファミリ内の別のデバイスにます。これらのキットは、TI から入手できるデバイス用の評も再利用できます。それにより、開発効率が合理化され、車価モジュールで検証されています。

両モデル全体にわたって、さまざまな機能セットを備えた包括的な製品ラインを簡単に導入できるようになります。パーキン
グ・アシストと自動バレー・パーキングに向けて進化を続ける
サラウンド・ビュー・システムは、Jacintoファミリのテクノロジーを使って簡単に開発できるアプリケーション群の1つです。

サラウンド・ビューと自動パーキング・システムの360度視野

62020

その他のリソース●

ADASアプリケーション用 Jacinto TDA4x プロセッサの詳細情報●

ADAS 用の TI ソリューションと設計リソースの詳細情報●

ADASアプリケーション用 FPD-Link カメラ・シリアラ
イザ / デシリアライザのポートフォリオ©2020日本テキサス・インスツルメンツ合同会社
Printed in Japan 2020.02

JAJY102

重要なお知らせと免責事項
TI は、技術データと信頼性データ（データシートを含みます）、設計リソース（リファレンス・デザインを含みます）、アプリケーションや設計に関する各種アドバイス、Web ツール、安全性情報、その他のリソースを、欠陥が存在する可能性のある「現状のまま」提供しており、商品性および特定目的に対する適合性の黙示保証、第三者の知的財産権の非侵害保証を含むいかなる保証も、明示的または黙示的にかかわらず拒否します。
これらのリソースは、TI 製品を使用する設計の経験を積んだ開発者への提供を意図したものです。(1) お客様のアプリケーションに適した TI 製品の選定、(2) お客様のアプリケーションの設計、検証、試験、(3) お客様のアプリケーションが適用される各種規格や、その他のあらゆる安全性、セキュリティ、またはその他の要件を満たしていることを確実にする責任を、お客様のみが単独で負うものとします。上記の各種リソースは、予告なく変更される可能性があります。これらのリソースは、リソースで説明されている TI 製品を使用するアプリケーションの開発の目的でのみ、TI はその使用をお客様に許諾します。これらのリソースに関して、他の目的で複製することや掲載することは禁止されています。TI や第三者の知的財産権のライセンスが付与されている訳ではありません。お客様は、これらのリソースを自身で使用した結果発生するあらゆる申し立て、損害、費用、損失、責任について、TI およびその代理人を完全に補償するものとし、TI は一切の責任を拒否します。
TI の製品は、TI の販売条件（www.tij.co.jp/ja-jp/legal/termsofsale.html）、または ti.com やかかる TI 製品の関連資料などのいずれかを通じて提供する適用可能な条項の下で提供されています。TI がこれらのリソースを提供することは、適用されるTI の保証または他の保証の放棄の拡大や変更を意味するものではありません。IMPORTANT NOTICE
Copyright © 2020, Texas Instruments Incorporated
日本語版 日本テキサス・インスツルメンツ株式会社